Repolode
Enviar
defilantech

defilantech/LLMKube

Operador de Kubernetes para ejecutar LLM autohospedados en hardware NVIDIA, AMD y Apple Silicon con un único conjunto de CRD y endpoints compatibles con OpenAI.

Ver en GitHubSitio web
Estrellas
251
Forks
43
Issues abiertos
107
Último commit
hace 18 horas

¿Qué es?

LLMKube es un operador de Kubernetes para desplegar y gestionar inferencias con LLM autohospedados. Defines un Model y un InferenceService en YAML, y el operador se encarga de descargar y almacenar en caché los modelos, programar el uso de GPU, comprobar el estado, escalar y exponer una API compatible con OpenAI. Admite los runtimes llama.cpp, vLLM y TGI dentro del clúster.

Su característica distintiva es ejecutar inferencias en Apple Silicon. Un Metal Agent ejecuta llama-server, mlx-server o vllm-swift como procesos nativos de macOS con acceso a la GPU Metal, y el controlador los expone como Services de Kubernetes normales. Así, un mismo clúster puede combinar hosts NVIDIA, AMD (Vulkan), Intel y Mac con los mismos CRD.

Un recurso ModelRouter coloca un endpoint compatible con OpenAI y que tiene en cuenta las políticas delante de InferenceServices locales y proveedores externos como Anthropic, OpenAI y LiteLLM. Las reglas pueden mantener localmente las solicitudes clasificadas como PII y devolver HTTP 503 en lugar de recurrir a backends en la nube. El proyecto también incluye Foreman, un orquestador opcional para ejecutar agentes de programación en la misma flota.

Funciones clave

  • 01CRD de Kubernetes (Model, InferenceService) para desplegar LLM de forma declarativa
  • 02Incluye los runtimes llama.cpp, vLLM y TGI dentro del clúster, además de llama-server, mlx-server y vllm-swift nativos en Apple Silicon
  • 03Admite NVIDIA CUDA, AMD mediante Vulkan, GPU Intel y Apple Metal en una misma flota
  • 04Endpoint /v1/chat/completions compatible con OpenAI y con streaming
  • 05ModelRouter para enrutar según políticas entre modelos locales y en la nube, con reglas que fallan de forma segura
  • 06Incluye métricas de Prometheus, trazas de OpenTelemetry y dashboards de Grafana

Casos de uso

  • Ejecutar inferencias con LLM en las instalaciones o en entornos aislados de redes externas con Kubernetes
  • Combinar hosts Mac Studio y servidores NVIDIA en un único clúster de inferencia gestionado
  • Enrutar datos regulados a modelos locales y enviar las demás solicitudes a proveedores en la nube
  • Configuraciones de homelab que necesitan servir modelos con varias GPU o hardware heterogéneo

Inicio rápido

  1. 1

    Instala la CLI con Homebrew

    brew install defilantech/tap/llmkube
  2. 2

    Instala el operator en tu clúster de Kubernetes con Helm

    helm repo add llmkube https://defilantech.github.io/LLMKube
  3. 3

    Despliega un modelo con la CLI

    llmkube deploy phi-4-mini
  4. 4

    Reenvía el puerto del servicio y consulta el endpoint compatible con OpenAI

    kubectl port-forward svc/phi-4-mini 8080:8080 &

Antes de usarlo

  • Requiere un clúster de Kubernetes, así que resulta excesivo para ejecutar un solo modelo en una sola máquina.
  • La compatibilidad con Apple Silicon requiere ejecutar por separado metal-agent en un Mac.

En colecciones

Apps autoalojadasEjecuta LLM en localApps open source para MacEntrena y ejecuta IA en GPU

Temas

#llm-inference#kubernetes-operator#self-hosted#apple-silicon#gpu#llama-cpp#openai-compatible#local-llm#ai#autoscaling

Preguntas frecuentes

¿Qué es LLMKube?
Operador de Kubernetes para ejecutar LLM autohospedados en hardware NVIDIA, AMD y Apple Silicon con un único conjunto de CRD y endpoints compatibles con OpenAI. LLMKube es un operador de Kubernetes para desplegar y gestionar inferencias con LLM autohospedados. Defines un Model y un InferenceService en YAML, y el operador se encarga de descargar y almacenar en caché los modelos, programar el uso de GPU, comprobar el estado, escalar y exponer una API compatible con OpenAI. Admite los runtimes llama.cpp, vLLM y TGI dentro del clúster.
¿LLMKube es gratuito? ¿Qué licencia tiene?
LLMKube es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿LLMKube sigue mantenido?
Mantenimiento activo. El último commit de LLMKube fue el 6 nov 2026.
¿Para qué puedo usar LLMKube?
Ejecutar inferencias con LLM en las instalaciones o en entornos aislados de redes externas con Kubernetes Combinar hosts Mac Studio y servidores NVIDIA en un único clúster de inferencia gestionado Enrutar datos regulados a modelos locales y enviar las demás solicitudes a proveedores en la nube Configuraciones de homelab que necesitan servir modelos con varias GPU o hardware heterogéneo
¿Cómo se instala LLMKube?
Instala la CLI con Homebrew: brew install defilantech/tap/llmkube Instala el operator en tu clúster de Kubernetes con Helm: helm repo add llmkube https://defilantech.github.io/LLMKube Despliega un modelo con la CLI: llmkube deploy phi-4-mini Reenvía el puerto del servicio y consulta el endpoint compatible con OpenAI: kubectl port-forward svc/phi-4-mini 8080:8080 &
¿Dónde consigo LLMKube?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/defilantech/LLMKube

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados