Plataforma de inferencia nativa de Kubernetes para desplegar y servir modelos de lenguaje grandes con backends intercambiables como vLLM, SGLang y llama.cpp.
31448GoApache-2.0Actualizado hace 2 meses
kubeai-project/kubeai
Un operador de Kubernetes que despliega y escala automáticamente modelos de LLM, embeddings, reranking y transcripción de voz mediante una API compatible con OpenAI.
- Estrellas
- 1,289
- Forks
- 144
- Issues abiertos
- 97
- Último commit
- hace 4 días
¿Qué es?
KubeAI es un operador de inferencia de IA para Kubernetes que despliega y escala modelos de machine learning, como LLM, modelos de embeddings, rerankers y modelos de transcripción de voz. Gestiona servidores de backend como vLLM, Ollama, FasterWhisper e Infinity en Pods de Kubernetes, y se encarga de descargar modelos, montar volúmenes y cargar adaptadores LoRA de forma dinámica mediante un recurso personalizado Model.
El proyecto incluye un proxy que expone endpoints compatibles con OpenAI, como chat completions, embeddings, rerank y transcripciones de audio, para que se puedan usar bibliotecas cliente de OpenAI existentes configurándolas para que se conecten a este proxy. El proxy utiliza balanceo de carga que tiene en cuenta los prefijos para mejorar el aprovechamiento de la caché KV entre réplicas de vLLM, pone las solicitudes en cola mientras un modelo escala desde cero réplicas y las reintenta cuando falla el backend.
KubeAI se instala con Helm y está diseñado para funcionar sin dependencias como Istio, Knative o un adaptador de métricas de Prometheus. Incluye un catálogo de modelos predefinidos y es compatible con hardware CPU, GPU y TPU.
Funciones clave
- 01Despliega servidores vLLM, Ollama, FasterWhisper e Infinity como Pods de Kubernetes.
- 02Escala las réplicas de los modelos desde cero según la demanda.
- 03Expone endpoints compatibles con OpenAI para chat, embeddings, rerank y transcripción.
- 04Utiliza balanceo de carga que tiene en cuenta los prefijos para mejorar el aprovechamiento de la caché KV de vLLM.
- 05Automatiza la descarga de modelos y el montaje de volúmenes, y gestiona adaptadores LoRA.
Casos de uso
- Alojar LLM de pesos abiertos en el clúster de Kubernetes de una empresa mediante una API al estilo de OpenAI.
- Ejecutar servicios de transcripción de voz que reducen su escala cuando están inactivos.
- Ofrecer modelos de embeddings y reranking para canalizaciones de búsqueda o recuperación de información.
Inicio rápido
- 1
Crea un clúster local de Kubernetes
kind create cluster - 2
Añade el repositorio de Helm de KubeAI
helm repo add kubeai https://www.kubeai.org - 3
Instala KubeAI y espera a que los componentes estén listos
helm install kubeai kubeai/kubeai --wait --timeout 10m - 4
Instala los modelos predefinidos mediante un archivo values (consulta el YAML en el README)
Antes de usarlo
- Requiere un clúster de Kubernetes en ejecución; no es una herramienta independiente.
- La configuración local mediante Podman para kind requiere al menos 6 GB de memoria en la máquina.
En colecciones
Temas
Preguntas frecuentes
- ¿Qué es kubeai?
- Un operador de Kubernetes que despliega y escala automáticamente modelos de LLM, embeddings, reranking y transcripción de voz mediante una API compatible con OpenAI. KubeAI es un operador de inferencia de IA para Kubernetes que despliega y escala modelos de machine learning, como LLM, modelos de embeddings, rerankers y modelos de transcripción de voz. Gestiona servidores de backend como vLLM, Ollama, FasterWhisper e Infinity en Pods de Kubernetes, y se encarga de descargar modelos, montar volúmenes y cargar adaptadores LoRA de forma dinámica mediante un recurso personalizado Model.
- ¿kubeai es gratuito? ¿Qué licencia tiene?
- kubeai es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿kubeai sigue mantenido?
- Mantenimiento activo. El último commit de kubeai fue el 3 nov 2026.
- ¿Para qué puedo usar kubeai?
- Alojar LLM de pesos abiertos en el clúster de Kubernetes de una empresa mediante una API al estilo de OpenAI. Ejecutar servicios de transcripción de voz que reducen su escala cuando están inactivos. Ofrecer modelos de embeddings y reranking para canalizaciones de búsqueda o recuperación de información.
- ¿Cómo se instala kubeai?
- Crea un clúster local de Kubernetes: kind create cluster Añade el repositorio de Helm de KubeAI: helm repo add kubeai https://www.kubeai.org Instala KubeAI y espera a que los componentes estén listos: helm install kubeai kubeai/kubeai --wait --timeout 10m Instala los modelos predefinidos mediante un archivo values (consulta el YAML en el README)
- ¿Dónde consigo kubeai?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/kubeai-project/kubeai
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Suite de operadores de Kubernetes que automatiza el despliegue de servicios de inferencia de LLM, ajuste fino y RAG en nodos con GPU.
1 mil+3 esta semana195GoOtherActualizado ayer
Un guardián de Python que solo usa numpy y detecta errores de decodificación de LLM, como bucles de repetición y cambios de idioma durante la generación, para detenerlos antes de mostrar tokens incorrectos.
10415PythonApache-2.0Bien mantenidoActualizado hace 2 meses
Guía y aplicación web de chatbot para ejecutar un LLM local pequeño en hardware de consumo mediante una API compatible con OpenAI, usando Ollama, vLLM o llama-cpp-python.
35443JavaScriptMITActualizado hace 13 días
Gateway de LLM independiente del motor, escrito en Rust, que enruta tráfico compatible con OpenAI y Anthropic entre motores de inferencia autohospedados y proveedores de modelos en la nube.
701+8 esta semana210RustApache-2.0Bien mantenidoActualizado hace 14 horas
Runtime open source en Go y Python para cargas de trabajo de IA serverless, con endpoints de inferencia en GPU, sandboxes y tareas en segundo plano.
1,8 mil+10 esta semana175GoAGPL-3.0Bien mantenidoActualizado hace 14 horas