bentoml/BentoML

O que é?

Recursos principais

• 01Transforma código de inferência em Python em servidores de API REST usando type hints.
• 02Oferece suporte a batching dinâmico, paralelismo de modelos e pipelines com vários modelos.
• 03Empacota serviços em artefatos Bento e gera imagens Docker.
• 04Faz a implantação em containers Docker ou no Kubernetes.
• 05Oferece um cliente HTTP em Python para chamar serviços em execução.

Casos de uso

• Servir um modelo do Hugging Face ou um modelo PyTorch personalizado por trás de uma API HTTP.
• Executar serviços de inferência de LLM com batching e aproveitamento da GPU.
• Combinar vários modelos em um único pipeline de inferência.
• Empacotar serviços de ML em imagens Docker para implantação em produção.

Início rápido

1. 1

   Instale o BentoML com pip

   pip install -U bentoml
2. 2

   Instale as dependências extras do exemplo (PyTorch e Transformers) para executá-lo localmente

   pip install torch transformers
3. 3

   Execute o serviço localmente em http://localhost:3000

   bentoml serve

Antes de usar

• !É necessário usar Python 3.9 ou mais recente.
• !O exemplo de início rápido baixa e executa modelos de ML grandes, como PyTorch e Transformers, que exigem dependências pesadas.

Tópicos

Perguntas frequentes

O que é BentoML?

Biblioteca Python para criar e servir APIs de inferência de modelos de IA, pipelines com vários modelos e apps de LLM, com implantação em Docker e Kubernetes. BentoML é uma biblioteca Python para transformar modelos de IA e machine learning em sistemas de serving online. Qualquer script de inferência pode ser exposto como uma API REST com poucas linhas de código e type hints padrão do Python. Os serviços são definidos em um arquivo service.py, e as configurações de ambiente e dependências são gerenciadas por um arquivo de configuração.

BentoML é gratuito? Qual é a licença?

BentoML é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.

BentoML ainda é mantido?

Manutenção ativa. O último commit de BentoML foi em 20 de out. de 2026.

Para que posso usar BentoML?

Servir um modelo do Hugging Face ou um modelo PyTorch personalizado por trás de uma API HTTP. Executar serviços de inferência de LLM com batching e aproveitamento da GPU. Combinar vários modelos em um único pipeline de inferência. Empacotar serviços de ML em imagens Docker para implantação em produção.

Como instalar BentoML?

Instale o BentoML com pip: pip install -U bentoml Instale as dependências extras do exemplo (PyTorch e Transformers) para executá-lo localmente: pip install torch transformers Execute o serviço localmente em http://localhost:3000: bentoml serve

Onde consigo BentoML?

O código-fonte e as instruções de instalação estão no GitHub: https://github.com/bentoml/BentoML