mlc-ai/web-llm

Что это?

Ключевые возможности

• 01Запускает LLM-инференс в браузере с аппаратным ускорением WebGPU и без сервера.
• 02Предоставляет API для генерации ответов в чате, совместимый с OpenAI, с поддержкой потоковой передачи и JSON-режима.
• 03Поддерживает модели в формате MLC, включая Llama 3, Phi 3, Gemma, Mistral и Qwen.
• 04Работает в Web Workers, Service Workers и расширениях Chrome.
• 05Предоставляет проверку целостности загруженных артефактов моделей на основе SRI.

Сценарии использования

• Создание чат-бота с защитой конфиденциальности, в котором запросы не покидают устройство пользователя.
• Добавление локального AI-ассистента в веб-приложение с помощью клиента в стиле OpenAI.
• Разработка расширений Chrome, которые локально обращаются к языковой модели.
• Создание прототипов функций на базе LLM в браузере без запуска серверов для инференса на бэкенде.

Быстрый старт

1. 1

   Установите пакет с помощью npm

   npm install @mlc-ai/web-llm
2. 2

   Импортируйте engine в код

   import { CreateMLCEngine } from "@mlc-ai/web-llm";
3. 3

   Создайте engine, указав model ID (при первой загрузке модель будет скачана)

   const engine = await CreateMLCEngine("Llama-3.1-8B-Instruct-q4f32_1-MLC", { initProgressCallback });

Что важно знать

• !Требуется браузер с поддержкой WebGPU.
• !При первой загрузке модели скачиваются большие файлы, поэтому это может занять много времени.

Темы

Частые вопросы

Что такое web-llm?

Движок на TypeScript, который запускает LLM-инференс целиком в браузере с помощью WebGPU и предоставляет API, совместимый с OpenAI. WebLLM — движок для инференса больших языковых моделей прямо в браузере. Инференс полностью выполняется на стороне клиента без участия сервера, а для аппаратного ускорения используется WebGPU. Движок распространяется как npm-пакет (@mlc-ai/web-llm), а также доступен для прямой загрузки с CDN.

web-llm можно использовать бесплатно? Какая у него лицензия?

web-llm распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.

web-llm всё ещё поддерживается?

Активно поддерживается. Последний коммит в web-llm — 11 окт. 2026 г..

Для чего можно использовать web-llm?

Создание чат-бота с защитой конфиденциальности, в котором запросы не покидают устройство пользователя. Добавление локального AI-ассистента в веб-приложение с помощью клиента в стиле OpenAI. Разработка расширений Chrome, которые локально обращаются к языковой модели. Создание прототипов функций на базе LLM в браузере без запуска серверов для инференса на бэкенде.

Как установить web-llm?

Установите пакет с помощью npm: npm install @mlc-ai/web-llm Импортируйте engine в код: import { CreateMLCEngine } from "@mlc-ai/web-llm"; Создайте engine, указав model ID (при первой загрузке модель будет скачана): const engine = await CreateMLCEngine("Llama-3.1-8B-Instruct-q4f32_1-MLC", { initProgressCallback });

Где скачать web-llm?

Исходный код и инструкции по установке — на GitHub: https://github.com/mlc-ai/web-llm