Repolode
Enviar
defilantech

defilantech/LLMKube

Operador Kubernetes para executar LLMs auto-hospedados em hardware NVIDIA, AMD e Apple Silicon com um conjunto de CRDs e endpoints compatíveis com OpenAI.

Ver no GitHubSite
Estrelas
251
Forks
43
Issues abertas
107
Último commit
há 18 horas

O que é?

LLMKube é um operador Kubernetes para implantar e gerenciar inferência de LLMs auto-hospedados. Você define um Model e um InferenceService em YAML, e o operador cuida do download e do cache dos modelos, do agendamento de GPUs, das verificações de integridade, do escalonamento e da exposição de uma API compatível com OpenAI. Ele oferece suporte aos runtimes llama.cpp, vLLM e TGI dentro do cluster.

Seu diferencial é executar inferência em Apple Silicon. Um Metal Agent executa llama-server, mlx-server ou vllm-swift como processos nativos do macOS com acesso à GPU Metal, e o controller os expõe como Services comuns do Kubernetes. Assim, um cluster pode combinar hosts NVIDIA, AMD (Vulkan), Intel e Mac usando os mesmos CRDs.

Um recurso ModelRouter coloca um endpoint compatível com OpenAI e ciente de políticas na frente de InferenceServices locais e provedores externos, como Anthropic, OpenAI e LiteLLM. As regras podem manter localmente as solicitações classificadas como PII e retornar HTTP 503 em vez de recorrer a backends na nuvem. O projeto também inclui o Foreman, um orquestrador opcional para executar agentes de programação no mesmo conjunto de máquinas.

Recursos principais

  • 01CRDs do Kubernetes (Model, InferenceService) para implantação declarativa de LLMs
  • 02Os runtimes incluem llama.cpp, vLLM e TGI no cluster, além de llama-server, mlx-server e vllm-swift nativos em Apple Silicon
  • 03Compatível com NVIDIA CUDA, AMD via Vulkan, GPUs Intel e Apple Metal em um único conjunto de máquinas
  • 04Endpoint /v1/chat/completions compatível com OpenAI, com streaming
  • 05ModelRouter para roteamento baseado em políticas entre modelos locais e na nuvem, com regras fail-closed
  • 06Inclui métricas do Prometheus, tracing com OpenTelemetry e dashboards do Grafana

Casos de uso

  • Executar inferência de LLMs localmente ou em ambientes isolados da internet, sob Kubernetes
  • Combinar hosts Mac Studio e servidores NVIDIA em um único cluster de inferência gerenciado
  • Direcionar dados regulamentados para modelos locais e enviar outras solicitações a provedores na nuvem
  • Configurações de homelab que precisam servir modelos em múltiplas GPUs ou hardware misto

Início rápido

  1. 1

    Instale a CLI com o Homebrew

    brew install defilantech/tap/llmkube
  2. 2

    Instale o operator no seu cluster Kubernetes com o Helm

    helm repo add llmkube https://defilantech.github.io/LLMKube
  3. 3

    Implante um modelo com a CLI

    llmkube deploy phi-4-mini
  4. 4

    Redirecione a porta do serviço e consulte o endpoint compatível com OpenAI

    kubectl port-forward svc/phi-4-mini 8080:8080 &

Antes de usar

  • Requer um cluster Kubernetes, então é exagerado para executar um único modelo em uma única máquina.
  • O suporte ao Apple Silicon exige que o metal-agent seja executado separadamente em um Mac.

Em coleções

Apps auto-hospedadosRode LLMs localmenteApps open source para MacTreine e execute IA em GPUs

Tópicos

#llm-inference#kubernetes-operator#self-hosted#apple-silicon#gpu#llama-cpp#openai-compatible#local-llm#ai#autoscaling

Perguntas frequentes

O que é LLMKube?
Operador Kubernetes para executar LLMs auto-hospedados em hardware NVIDIA, AMD e Apple Silicon com um conjunto de CRDs e endpoints compatíveis com OpenAI. LLMKube é um operador Kubernetes para implantar e gerenciar inferência de LLMs auto-hospedados. Você define um Model e um InferenceService em YAML, e o operador cuida do download e do cache dos modelos, do agendamento de GPUs, das verificações de integridade, do escalonamento e da exposição de uma API compatível com OpenAI. Ele oferece suporte aos runtimes llama.cpp, vLLM e TGI dentro do cluster.
LLMKube é gratuito? Qual é a licença?
LLMKube é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
LLMKube ainda é mantido?
Manutenção ativa. O último commit de LLMKube foi em 6 de nov. de 2026.
Para que posso usar LLMKube?
Executar inferência de LLMs localmente ou em ambientes isolados da internet, sob Kubernetes Combinar hosts Mac Studio e servidores NVIDIA em um único cluster de inferência gerenciado Direcionar dados regulamentados para modelos locais e enviar outras solicitações a provedores na nuvem Configurações de homelab que precisam servir modelos em múltiplas GPUs ou hardware misto
Como instalar LLMKube?
Instale a CLI com o Homebrew: brew install defilantech/tap/llmkube Instale o operator no seu cluster Kubernetes com o Helm: helm repo add llmkube https://defilantech.github.io/LLMKube Implante um modelo com a CLI: llmkube deploy phi-4-mini Redirecione a porta do serviço e consulte o endpoint compatível com OpenAI: kubectl port-forward svc/phi-4-mini 8080:8080 &
Onde consigo LLMKube?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/defilantech/LLMKube

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados