Gestor open source de clústeres de GPU que despliega modelos de IA con vLLM, SGLang y TensorRT-LLM, y ofrece instancias de GPU con acceso SSH bajo demanda.
6 mil+52 esta semana724PythonApache-2.0Actualizado ayer
InftyAI/llmaz
Plataforma de inferencia nativa de Kubernetes para desplegar y servir modelos de lenguaje grandes con backends intercambiables como vLLM, SGLang y llama.cpp.
- Estrellas
- 314
- Forks
- 48
- Issues abiertos
- 53
- Último commit
- hace 2 meses
¿Qué es?
llmaz es una plataforma de inferencia para ejecutar modelos de lenguaje grandes en Kubernetes. Los usuarios declaran un modelo y un playground como recursos de Kubernetes, y la plataforma se encarga de cargar el modelo y exponer el servicio, de modo que se puede crear un endpoint LLM funcional con una configuración mínima.
Se integra con varios backends de inferencia, como vLLM, Text-Generation-Inference, SGLang, llama.cpp y TensorRT-LLM, y puede cargar modelos desde Hugging Face, ModelScope o almacenes de objetos. También permite servir un mismo modelo en dispositivos heterogéneos, realizar inferencia distribuida en varios hosts mediante LWS y escalar automáticamente con HPA y Karpenter.
El proyecto está actualmente en fase alfa, por lo que sus API podrían cambiar antes de una versión Beta. Entre las integraciones opcionales se incluyen Envoy AI Gateway para limitar las solicitudes por token y enrutar modelos, y Open WebUI como interfaz de chat integrada.
Funciones clave
- 01Despliega un servicio LLM en Kubernetes aplicando un recurso de modelo y uno de playground.
- 02Compatible con los backends vLLM, TGI, SGLang, llama.cpp y TensorRT-LLM.
- 03Carga automáticamente modelos desde Hugging Face, ModelScope y almacenes de objetos.
- 04Inferencia distribuida en varios hosts mediante LWS.
- 05Escalado automático con HPA basado en métricas de LLM y escalado de nodos mediante Karpenter.
- 06Limitación de solicitudes por token y enrutamiento de modelos mediante Envoy AI Gateway.
Casos de uso
- Alojar LLM de pesos abiertos en un clúster de Kubernetes existente con GPU.
- Servir un mismo modelo en una combinación de aceleradores heterogéneos para equilibrar costo y rendimiento.
- Ejecutar modelos grandes que requieren inferencia distribuida en varios hosts.
- Ofrecer a equipos internos un endpoint de completions compatible con OpenAI y respaldado por una interfaz de chat.
Inicio rápido
- 1
Lee la guía de instalación e instala llmaz en tu clúster de Kubernetes
- 2
Crea un Secret con un token de Hugging Face si tu modelo lo necesita
kubectl create secret generic modelhub-secret --from-literal=HF_TOKEN=<your token> - 3
Aplica los recursos OpenModel y Playground para desplegar facebook/opt-125m
- 4
Reenvía el puerto del servicio a localhost
kubectl port-forward svc/opt-125m-lb 8080:8080
Antes de usarlo
- El proyecto está en fase alfa, por lo que su API puede cambiar antes de llegar a la beta.
- El despliegue requiere un clúster de Kubernetes existente, lo que añade trabajo de autoalojamiento.
- Para ejecutarlo en GPU o CPU hace falta configuración adicional, como el ejemplo con llama.cpp para CPU.
En colecciones
Temas
Preguntas frecuentes
- ¿Qué es llmaz?
- Plataforma de inferencia nativa de Kubernetes para desplegar y servir modelos de lenguaje grandes con backends intercambiables como vLLM, SGLang y llama.cpp. llmaz es una plataforma de inferencia para ejecutar modelos de lenguaje grandes en Kubernetes. Los usuarios declaran un modelo y un playground como recursos de Kubernetes, y la plataforma se encarga de cargar el modelo y exponer el servicio, de modo que se puede crear un endpoint LLM funcional con una configuración mínima.
- ¿llmaz es gratuito? ¿Qué licencia tiene?
- llmaz es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿llmaz sigue mantenido?
- Actualizado en los últimos 6 meses. El último commit de llmaz fue el 27 ago 2026.
- ¿Para qué puedo usar llmaz?
- Alojar LLM de pesos abiertos en un clúster de Kubernetes existente con GPU. Servir un mismo modelo en una combinación de aceleradores heterogéneos para equilibrar costo y rendimiento. Ejecutar modelos grandes que requieren inferencia distribuida en varios hosts. Ofrecer a equipos internos un endpoint de completions compatible con OpenAI y respaldado por una interfaz de chat.
- ¿Cómo se instala llmaz?
- Lee la guía de instalación e instala llmaz en tu clúster de Kubernetes Crea un Secret con un token de Hugging Face si tu modelo lo necesita: kubectl create secret generic modelhub-secret --from-literal=HF_TOKEN=<your token> Aplica los recursos OpenModel y Playground para desplegar facebook/opt-125m Reenvía el puerto del servicio a localhost: kubectl port-forward svc/opt-125m-lb 8080:8080
- ¿Dónde consigo llmaz?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/InftyAI/llmaz
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Un operador de Kubernetes que despliega y escala automáticamente modelos de LLM, embeddings, reranking y transcripción de voz mediante una API compatible con OpenAI.
1,3 mil144GoApache-2.0Bien mantenidoActualizado hace 5 días
Plataforma nativa de Kubernetes para desplegar y servir modelos de IA predictiva y generativa a escala con distintos frameworks de ML.
6,2 mil+22 esta semana1,8 milGoApache-2.0Actualizado hace 23 horas
Suite de operadores de Kubernetes que automatiza el despliegue de servicios de inferencia de LLM, ajuste fino y RAG en nodos con GPU.
1 mil+3 esta semana195GoOtherActualizado ayer
Biblioteca de Python para crear y servir API de inferencia de modelos de IA, pipelines multimodelo y aplicaciones con LLM, con despliegue en Docker y Kubernetes.
8,9 mil+8 esta semana1,1 milPythonApache-2.0Actualizado hace 5 días
Una capa de decisión abierta y programable que selecciona o combina LLM para cada solicitud entre backends locales, privados y en la nube, con un único endpoint de API.
6,4 mil+68 esta semana1,1 milGoApache-2.0Actualizado hace 23 horas