Motor de inferencia de LLM de alto rendimiento de Alibaba, utilizado en varias de sus unidades de negocio para servir modelos de lenguaje grandes.
1,4 mil+6 esta semana299PythonApache-2.0Actualizado hace 18 horas
bentoml/OpenLLM
Ejecuta LLM de código abierto como Llama y Qwen como endpoints de API compatibles con OpenAI con un solo comando e incluye una interfaz de chat integrada.
Alternativa open source a:OpenAI API
- Estrellas
- 12,583
- Forks
- 849
- Issues abiertos
- 21
- Último commit
- hace 4 días
¿Qué es?
OpenLLM es una herramienta de Python para alojar tus propios modelos de lenguaje grandes de código abierto. Puedes iniciar un modelo con un comando como `openllm serve llama3.2:1b`; el servidor expone una API compatible con OpenAI en el puerto 3000 de localhost, de modo que puedes usar el código de clientes de OpenAI y herramientas como LlamaIndex cambiando únicamente la URL base.
El proyecto incluye un catálogo de modelos compatibles, entre ellos Llama 3.x, Mistral, Qwen 2.5, Gemma y DeepSeek, y el servidor ofrece una interfaz de chat en la ruta /chat. Los modelos con acceso restringido requieren un token de Hugging Face, y OpenLLM no almacena los pesos de los modelos. El comando de CLI `openllm run` abre una sesión de chat en la terminal.
Los modelos se organizan en repositorios de modelos. Los usuarios pueden añadir un repositorio público personalizado, con modelos empaquetados como Bentos mediante BentoML; el proyecto explica cómo crear implementaciones para Docker y Kubernetes a partir de ellos.
Funciones clave
- 01Ofrece LLM de código abierto mediante endpoints de API compatibles con OpenAI.
- 02Inicia un servidor de modelos con un solo comando `openllm serve`.
- 03Incluye una interfaz de chat integrada en /chat.
- 04Permite chatear desde la terminal con `openllm run`.
- 05Admite repositorios de modelos, incluidos los personalizados y públicos.
- 06Empaqueta modelos como Bentos para implementarlos en Docker y Kubernetes.
Casos de uso
- Alojar localmente un modelo de Llama o Qwen detrás de una API compatible con OpenAI para una aplicación existente.
- Probar modelos de código abierto con código que usa el SDK de OpenAI sin cambiar el cliente.
- Implementar un modelo personalizado o ajustado en Docker o Kubernetes con el empaquetado de BentoML.
Inicio rápido
- 1
Instala OpenLLM con pip
pip install openllm - 2
Prueba OpenLLM de forma interactiva
openllm hello - 3
Configura tu token de Hugging Face para los modelos con acceso restringido
export HF_TOKEN=<your token> - 4
Inicia un servidor LLM con un modelo
openllm serve llama3.2:1b
Antes de usarlo
- Los modelos con acceso restringido, como Llama, requieren un token de Hugging Face y aprobación de acceso.
- Los modelos más grandes necesitan una cantidad considerable de memoria GPU; por ejemplo, algunas opciones requieren GPU de 80G.
En colecciones
Temas
Preguntas frecuentes
- ¿Qué es OpenLLM?
- Ejecuta LLM de código abierto como Llama y Qwen como endpoints de API compatibles con OpenAI con un solo comando e incluye una interfaz de chat integrada. OpenLLM es una herramienta de Python para alojar tus propios modelos de lenguaje grandes de código abierto. Puedes iniciar un modelo con un comando como `openllm serve llama3.2:1b`; el servidor expone una API compatible con OpenAI en el puerto 3000 de localhost, de modo que puedes usar el código de clientes de OpenAI y herramientas como LlamaIndex cambiando únicamente la URL base.
- ¿OpenLLM es gratuito? ¿Qué licencia tiene?
- OpenLLM es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿OpenLLM sigue mantenido?
- Mantenimiento activo. El último commit de OpenLLM fue el 2 nov 2026.
- ¿Para qué puedo usar OpenLLM?
- Alojar localmente un modelo de Llama o Qwen detrás de una API compatible con OpenAI para una aplicación existente. Probar modelos de código abierto con código que usa el SDK de OpenAI sin cambiar el cliente. Implementar un modelo personalizado o ajustado en Docker o Kubernetes con el empaquetado de BentoML.
- ¿Cómo se instala OpenLLM?
- Instala OpenLLM con pip: pip install openllm Prueba OpenLLM de forma interactiva: openllm hello Configura tu token de Hugging Face para los modelos con acceso restringido: export HF_TOKEN=<your token> Inicia un servidor LLM con un modelo: openllm serve llama3.2:1b
- ¿Dónde consigo OpenLLM?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/bentoml/OpenLLM
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Gestor open source de clústeres de GPU que despliega modelos de IA con vLLM, SGLang y TensorRT-LLM, y ofrece instancias de GPU con acceso SSH bajo demanda.
6 mil+51 esta semana721PythonApache-2.0Actualizado hace 21 horas
Kit de herramientas basado en Docker para alojar, crear, ajustar y empaquetar LLM de código abierto detrás de una API compatible con OpenAI.
542+2 esta semana56GoMITBien mantenidoActualizado hace 4 días
Framework de inferencia y serving de LLM basado en Python, diseñado para ser ligero, escalar con facilidad y ofrecer un alto rendimiento.
4,4 mil+10 esta semana384PythonApache-2.0Bien mantenidoActualizado ayer
Una plataforma ligera de gestión de GPU y Model-as-a-Service que agrupa servidores y nubes con aceleradores variados detrás de un único endpoint compatible con OpenAI.
11935GoApache-2.0Bien mantenidoActualizado hace 18 horas
Motor de IA autohospedado y compatible con OpenAI que ejecuta LLM, modelos de visión, voz, imagen y video en cualquier hardware, incluso solo con CPU.
50,2 mil+159 esta semana4,6 milGoMITActualizado hace 18 horas