bentoml/OpenLLM

Что это?

Ключевые возможности

• 01Предоставляет open-source LLM в виде совместимых с OpenAI API-эндпоинтов.
• 02Запускает сервер модели одной командой `openllm serve`.
• 03Включает встроенный чат-интерфейс по пути /chat.
• 04Позволяет общаться с моделью в терминале командой `openllm run`.
• 05Поддерживает репозитории моделей, в том числе собственные публичные.
• 06Упаковывает модели в Bentos для развёртывания в Docker и Kubernetes.

Сценарии использования

• Локальный запуск модели Llama или Qwen за API в стиле OpenAI для существующего приложения.
• Тестирование моделей с открытым исходным кодом с помощью кода на OpenAI SDK без изменений в клиенте.
• Развёртывание собственной или дообученной модели в Docker или Kubernetes с использованием упаковки BentoML.

Быстрый старт

1. 1

   Установите OpenLLM с помощью pip

   pip install openllm
2. 2

   Изучите OpenLLM в интерактивном режиме

   openllm hello
3. 3

   Настройте токен Hugging Face для моделей с ограниченным доступом

   export HF_TOKEN=<your token>
4. 4

   Запустите сервер LLM с выбранной моделью

   openllm serve llama3.2:1b

Что важно знать

• !Для моделей с ограниченным доступом, таких как Llama, нужны токен Hugging Face и одобрение доступа.
• !Для крупных моделей требуется значительный объём памяти GPU; например, для некоторых моделей нужны GPU с 80G памяти.

В подборках

Темы

Частые вопросы

Что такое OpenLLM?

Запускает open-source LLM, например Llama и Qwen, как совместимые с OpenAI API-эндпоинты одной командой; включает встроенный чат-интерфейс. OpenLLM — это инструмент на Python для самостоятельного размещения больших языковых моделей с открытым исходным кодом. Запустите модель командой вроде `openllm serve llama3.2:1b`, и она предоставит совместимый с OpenAI API на порту 3000 localhost. Существующий код клиентов OpenAI и инструменты вроде LlamaIndex смогут обращаться к нему, если заменить только базовый URL.

OpenLLM можно использовать бесплатно? Какая у него лицензия?

OpenLLM распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.

OpenLLM всё ещё поддерживается?

Активно поддерживается. Последний коммит в OpenLLM — 2 нояб. 2026 г..

Для чего можно использовать OpenLLM?

Локальный запуск модели Llama или Qwen за API в стиле OpenAI для существующего приложения. Тестирование моделей с открытым исходным кодом с помощью кода на OpenAI SDK без изменений в клиенте. Развёртывание собственной или дообученной модели в Docker или Kubernetes с использованием упаковки BentoML.

Как установить OpenLLM?

Установите OpenLLM с помощью pip: pip install openllm Изучите OpenLLM в интерактивном режиме: openllm hello Настройте токен Hugging Face для моделей с ограниченным доступом: export HF_TOKEN=<your token> Запустите сервер LLM с выбранной моделью: openllm serve llama3.2:1b

Где скачать OpenLLM?

Исходный код и инструкции по установке — на GitHub: https://github.com/bentoml/OpenLLM