Repolode
Enviar
bentoml

bentoml/BentoML

Biblioteca de Python para crear y servir API de inferencia de modelos de IA, pipelines multimodelo y aplicaciones con LLM, con despliegue en Docker y Kubernetes.

Ver en GitHubSitio web
Estrellas
8,914
Forks
1,049
Issues abiertos
239
Último commit
anteayer

¿Qué es?

BentoML es una biblioteca de Python que convierte modelos de IA y machine learning en sistemas de serving en línea. Cualquier script de inferencia se puede exponer como una API REST con unas pocas líneas de código y las anotaciones de tipo estándar de Python. Los servicios se definen en un archivo service.py, y la configuración del entorno y las dependencias se gestiona mediante un archivo de configuración.

La biblioteca incluye optimizaciones de serving como batching dinámico, paralelismo de modelos, pipelines de varias etapas y orquestación de grafos de inferencia multimodelo. Se puede ejecutar localmente para desarrollar y depurar; después, se empaqueta como un artefacto estandarizado llamado Bento y se convierte en una imagen de Docker. También admite el despliegue en Kubernetes.

El proyecto abarca LLM, generación de imágenes, embeddings, audio y modelos de visión por computadora, y sus repositorios de ejemplos ofrecen servicios listos para usar para muchos de ellos.

Funciones clave

  • 01Convierte código de inferencia de Python en servidores de API REST mediante anotaciones de tipo.
  • 02Admite batching dinámico, paralelismo de modelos y pipelines multimodelo.
  • 03Empaqueta servicios en artefactos Bento y genera imágenes de Docker.
  • 04Despliega en contenedores Docker o en Kubernetes.
  • 05Ofrece un cliente HTTP de Python para llamar a servicios en ejecución.

Casos de uso

  • Servir un modelo de Hugging Face o PyTorch personalizado mediante una API HTTP.
  • Ejecutar servicios de inferencia de LLM con batching y aprovechamiento de GPU.
  • Combinar varios modelos en un pipeline de inferencia.
  • Empaquetar servicios de ML en imágenes de Docker para desplegarlos en producción.

Inicio rápido

  1. 1

    Instala BentoML con pip

    pip install -U bentoml
  2. 2

    Instala las dependencias adicionales del ejemplo (PyTorch y Transformers) para ejecutarlo localmente

    pip install torch transformers
  3. 3

    Ejecuta el servicio localmente en http://localhost:3000

    bentoml serve

Antes de usarlo

  • Se requiere Python 3.9 o una versión posterior.
  • El ejemplo de inicio rápido descarga y ejecuta modelos de ML grandes, como PyTorch y Transformers, que requieren dependencias pesadas.

Temas

#model-serving#inference#llm#mlops#machine-learning#docker#kubernetes#ai-inference#deep-learning#generative-ai

Preguntas frecuentes

¿Qué es BentoML?
Biblioteca de Python para crear y servir API de inferencia de modelos de IA, pipelines multimodelo y aplicaciones con LLM, con despliegue en Docker y Kubernetes. BentoML es una biblioteca de Python que convierte modelos de IA y machine learning en sistemas de serving en línea. Cualquier script de inferencia se puede exponer como una API REST con unas pocas líneas de código y las anotaciones de tipo estándar de Python. Los servicios se definen en un archivo service.py, y la configuración del entorno y las dependencias se gestiona mediante un archivo de configuración.
¿BentoML es gratuito? ¿Qué licencia tiene?
BentoML es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿BentoML sigue mantenido?
Mantenimiento activo. El último commit de BentoML fue el 20 oct 2026.
¿Para qué puedo usar BentoML?
Servir un modelo de Hugging Face o PyTorch personalizado mediante una API HTTP. Ejecutar servicios de inferencia de LLM con batching y aprovechamiento de GPU. Combinar varios modelos en un pipeline de inferencia. Empaquetar servicios de ML en imágenes de Docker para desplegarlos en producción.
¿Cómo se instala BentoML?
Instala BentoML con pip: pip install -U bentoml Instala las dependencias adicionales del ejemplo (PyTorch y Transformers) para ejecutarlo localmente: pip install torch transformers Ejecuta el servicio localmente en http://localhost:3000: bentoml serve
¿Dónde consigo BentoML?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/bentoml/BentoML

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados