mlc-ai/mlc-llm

Что это?

Ключевые возможности

• 01Запускает LLM на GPU NVIDIA, AMD, Apple и Intel через Vulkan, CUDA, ROCm и Metal.
• 02Запускает модели в браузерах с помощью WebGPU и WASM.
• 03Поддерживает развёртывание на iOS и Android.
• 04Предоставляет OpenAI-совместимый API через REST-сервер, Python и JavaScript.
• 05Работает на базе компилятора машинного обучения, который оптимизирует модели для каждой целевой платформы.

Сценарии использования

• Развёртывание локальной LLM на ноутбуке или рабочей станции независимо от производителя GPU.
• Запуск языковых моделей прямо на веб-странице без серверной части.
• Добавление функций на базе LLM, работающих непосредственно на устройстве, в приложения для iOS и Android.
• Замена вызовов OpenAI API собственным OpenAI-совместимым эндпоинтом.

Быстрый старт

1. 1

   Прочитайте официальное руководство по быстрому запуску и установке

2. 2

   Следуйте документации, чтобы начать работу с MLC LLM

Что важно знать

• !Инструкции по установке и настройке приведены только на внешнем сайте, а не в самом README.
• !Поддержка платформ зависит от оборудования. Некоторые сочетания недоступны, например Intel GPU в macOS или Apple GPU в Linux и Windows.

Темы

Частые вопросы

Что такое mlc-llm?

Компилятор машинного обучения и движок развёртывания, позволяющие запускать большие языковые модели на GPU, в браузерах и на мобильных устройствах с OpenAI-совместимыми API. MLC LLM — это компилятор машинного обучения и высокопроизводительный движок инференса для больших языковых моделей. Он позволяет разработчикам собирать, оптимизировать и развёртывать модели непосредственно на широком спектре оборудования, не привязываясь к стеку одного поставщика.

mlc-llm можно использовать бесплатно? Какая у него лицензия?

mlc-llm распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.

mlc-llm всё ещё поддерживается?

Активно поддерживается. Последний коммит в mlc-llm — 6 окт. 2026 г..

Для чего можно использовать mlc-llm?

Развёртывание локальной LLM на ноутбуке или рабочей станции независимо от производителя GPU. Запуск языковых моделей прямо на веб-странице без серверной части. Добавление функций на базе LLM, работающих непосредственно на устройстве, в приложения для iOS и Android. Замена вызовов OpenAI API собственным OpenAI-совместимым эндпоинтом.

Как установить mlc-llm?

Прочитайте официальное руководство по быстрому запуску и установке Следуйте документации, чтобы начать работу с MLC LLM

Где скачать mlc-llm?

Исходный код и инструкции по установке — на GitHub: https://github.com/mlc-ai/mlc-llm