Un operador de Kubernetes que despliega y escala automáticamente modelos de LLM, embeddings, reranking y transcripción de voz mediante una API compatible con OpenAI.
1,3 mil+1 esta semana143GoApache-2.0Bien mantenidoActualizado hace 3 días
kaito-project/kaito
Suite de operadores de Kubernetes que automatiza el despliegue de servicios de inferencia de LLM, ajuste fino y RAG en nodos con GPU.
- Estrellas
- 1,037
- Forks
- 194
- Issues abiertos
- 73
- Último commit
- ayer
¿Qué es?
KAITO es una suite de operadores para Kubernetes que automatiza la ejecución en un clúster de motores de inferencia de modelos de lenguaje grandes, ajuste fino y generación aumentada por recuperación (RAG). Los usuarios indican un tipo de instancia con GPU y un ID de modelo de HuggingFace mediante un recurso Workspace; el controlador estima la memoria de GPU necesaria, calcula la cantidad de GPU y activa el aprovisionamiento de nodos a través de las API NodePool de Karpenter.
El controlador también genera la configuración del motor de inferencia para servir modelos en uno o varios nodos, según la topología de las GPU, de modo que los usuarios no tengan que ajustar manualmente el paralelismo ni la longitud máxima del modelo. Actualmente solo se admite el motor vLLM, con adaptadores LoRA y descarga de KV cache. InferenceSet gestiona el escalado de réplicas según métricas de vLLM mediante KEDA, e InferencePool se integra con Gateway API Inference Extension para el enrutamiento que tiene en cuenta la KV cache.
Un recurso RAGEngine independiente despliega conjuntamente un endpoint de LLM, un servicio de embeddings y una base de datos vectorial (FAISS de forma predeterminada, o Qdrant y Milvus), junto con un RAGService basado en LlamaIndex que admite la indexación de documentos y la recuperación híbrida BM25 y vectorial.
Funciones clave
- 01CRD Workspace que estima la memoria y la cantidad de GPU a partir del ID de un modelo de HuggingFace y del tipo de instancia.
- 02Aprovisionamiento automático de nodos con GPU mediante las API NodePool de Karpenter.
- 03Parámetros de inferencia preconfigurados para servir con vLLM en uno o varios nodos.
- 04Escalado automático de réplicas de inferencia con KEDA, usando métricas de vLLM.
- 05RAGEngine con almacenes vectoriales FAISS, Qdrant o Milvus y recuperación híbrida BM25 y vectorial.
Casos de uso
- Servir LLM de pesos abiertos de HuggingFace en un clúster de Kubernetes con nodos con GPU.
- Desplegar un servicio RAG con indexación de documentos y un endpoint de chat compatible con OpenAI.
- Escalar automáticamente las réplicas de inferencia de LLM según la carga de solicitudes.
- Ejecutar inferencia distribuida en varios nodos para modelos que superan la capacidad de un solo nodo con GPU.
En colecciones
Temas
Preguntas frecuentes
- ¿Qué es kaito?
- Suite de operadores de Kubernetes que automatiza el despliegue de servicios de inferencia de LLM, ajuste fino y RAG en nodos con GPU. KAITO es una suite de operadores para Kubernetes que automatiza la ejecución en un clúster de motores de inferencia de modelos de lenguaje grandes, ajuste fino y generación aumentada por recuperación (RAG). Los usuarios indican un tipo de instancia con GPU y un ID de modelo de HuggingFace mediante un recurso Workspace; el controlador estima la memoria de GPU necesaria, calcula la cantidad de GPU y activa el aprovisionamiento de nodos a través de las API NodePool de Karpenter.
- ¿kaito es gratuito? ¿Qué licencia tiene?
- kaito es open source bajo la licencia Other. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿kaito sigue mantenido?
- Mantenimiento activo. El último commit de kaito fue el 5 nov 2026.
- ¿Para qué puedo usar kaito?
- Servir LLM de pesos abiertos de HuggingFace en un clúster de Kubernetes con nodos con GPU. Desplegar un servicio RAG con indexación de documentos y un endpoint de chat compatible con OpenAI. Escalar automáticamente las réplicas de inferencia de LLM según la carga de solicitudes. Ejecutar inferencia distribuida en varios nodos para modelos que superan la capacidad de un solo nodo con GPU.
- ¿Dónde consigo kaito?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/kaito-project/kaito
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Framework de serving de inferencia distribuida a escala de centros de datos que coordina vLLM, SGLang y TensorRT-LLM en varias GPU y nodos.
8,4 mil+37 esta semana1,8 milRustOtherActualizado hace 15 horas
Operador de Kubernetes para ejecutar LLM autohospedados en hardware NVIDIA, AMD y Apple Silicon con un único conjunto de CRD y endpoints compatibles con OpenAI.
251+3 esta semana43GoApache-2.0Bien mantenidoActualizado hace 17 horas
Operador de Kubernetes que ejecuta y escala automáticamente runners autohospedados de GitHub Actions en contenedores efímeros.
6,6 mil+9 esta semana1,5 milGoApache-2.0Bien mantenidoActualizado hace 3 días
Plataforma de inferencia nativa de Kubernetes para desplegar y servir modelos de lenguaje grandes con backends intercambiables como vLLM, SGLang y llama.cpp.
31448GoApache-2.0Actualizado hace 2 meses
Runtime open source en Go y Python para cargas de trabajo de IA serverless, con endpoints de inferencia en GPU, sandboxes y tareas en segundo plano.
1,8 mil+10 esta semana176GoAGPL-3.0Bien mantenidoActualizado hace 15 horas