bentoml/BentoML

Что это?

Ключевые возможности

• 01Преобразует код инференса на Python в серверы REST API с помощью аннотаций типов.
• 02Поддерживает динамическую пакетную обработку, параллелизм моделей и конвейеры из нескольких моделей.
• 03Упаковывает сервисы в артефакты Bento и создаёт Docker-образы.
• 04Развёртывает сервисы в контейнерах Docker или Kubernetes.
• 05Предоставляет HTTP-клиент на Python для вызова работающих сервисов.

Сценарии использования

• Запуск модели Hugging Face или пользовательской модели PyTorch за HTTP API.
• Запуск сервисов инференса LLM с пакетной обработкой и использованием GPU.
• Объединение нескольких моделей в один конвейер инференса.
• Упаковка ML-сервисов в Docker-образы для развёртывания в production.

Быстрый старт

1. 1

   Установите BentoML с помощью pip

   pip install -U bentoml
2. 2

   Установите дополнительные зависимости примера (PyTorch и Transformers) для локального запуска

   pip install torch transformers
3. 3

   Запустите сервис локально по адресу http://localhost:3000

   bentoml serve

Что важно знать

• !Требуется Python версии 3.9 или новее.
• !Пример быстрого старта скачивает и запускает большие ML-модели, такие как PyTorch и Transformers, для которых нужны тяжёлые зависимости.

Темы

Частые вопросы

Что такое BentoML?

Библиотека Python для создания и запуска API инференса AI-моделей, конвейеров из нескольких моделей и приложений на базе LLM с развёртыванием в Docker и Kubernetes. BentoML — библиотека Python, которая превращает модели AI и машинного обучения в системы для онлайн-инференса. Любой скрипт инференса можно превратить в REST API с помощью нескольких строк кода и стандартных аннотаций типов Python. Сервисы описываются в файле service.py, а настройки окружения и зависимостей задаются в конфигурационном файле.

BentoML можно использовать бесплатно? Какая у него лицензия?

BentoML распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.

BentoML всё ещё поддерживается?

Активно поддерживается. Последний коммит в BentoML — 20 окт. 2026 г..

Для чего можно использовать BentoML?

Запуск модели Hugging Face или пользовательской модели PyTorch за HTTP API. Запуск сервисов инференса LLM с пакетной обработкой и использованием GPU. Объединение нескольких моделей в один конвейер инференса. Упаковка ML-сервисов в Docker-образы для развёртывания в production.

Как установить BentoML?

Установите BentoML с помощью pip: pip install -U bentoml Установите дополнительные зависимости примера (PyTorch и Transformers) для локального запуска: pip install torch transformers Запустите сервис локально по адресу http://localhost:3000: bentoml serve

Где скачать BentoML?

Исходный код и инструкции по установке — на GitHub: https://github.com/bentoml/BentoML