Plataforma de inferência nativa do Kubernetes para implantar e servir grandes modelos de linguagem com backends plugáveis, como vLLM, SGLang e llama.cpp.
31448GoApache-2.0Atualizado há 2 meses
kubeai-project/kubeai
Um operador do Kubernetes que implanta e escala automaticamente modelos de LLM, embeddings, reranking e transcrição de fala por meio de uma API compatível com a OpenAI.
- Estrelas
- 1,289
- Forks
- 144
- Issues abertas
- 97
- Último commit
- há 4 dias
O que é?
O KubeAI é um operador de inferência de IA para Kubernetes que implanta e escala modelos de machine learning, como LLMs, modelos de embeddings, rerankers e modelos de transcrição de fala. Ele gerencia servidores de backend como vLLM, Ollama, FasterWhisper e Infinity em Pods do Kubernetes, cuidando do download de modelos, da montagem de volumes e do carregamento dinâmico de adaptadores LoRA por meio de um recurso customizado Model.
O projeto inclui um proxy que disponibiliza endpoints compatíveis com a OpenAI, como chat completions, embeddings, rerank e transcrições de áudio, permitindo apontar para ele bibliotecas de cliente existentes da OpenAI. O proxy usa balanceamento de carga que considera prefixos para melhorar a utilização do cache KV entre réplicas do vLLM, mantém as solicitações em fila enquanto um modelo escala a partir de zero réplicas e tenta novamente as solicitações quando os backends falham.
O KubeAI é instalado com Helm e foi projetado para funcionar sem dependências como Istio, Knative ou um adaptador de métricas do Prometheus. Ele vem com um catálogo de modelos predefinidos e oferece suporte a hardware de CPU, GPU e TPU.
Recursos principais
- 01Implanta servidores vLLM, Ollama, FasterWhisper e Infinity como Pods do Kubernetes.
- 02Escala as réplicas dos modelos a partir de zero conforme a demanda.
- 03Disponibiliza endpoints compatíveis com a OpenAI para chat, embeddings, rerank e transcrição.
- 04Faz balanceamento de carga que considera prefixos para melhorar a utilização do cache KV do vLLM.
- 05Automatiza o download de modelos e a montagem de volumes, além de gerenciar adaptadores LoRA.
Casos de uso
- Hospedar LLMs de pesos abertos no próprio cluster Kubernetes de uma empresa, por meio de uma API no estilo da OpenAI.
- Executar serviços de transcrição de fala que reduzem a escala quando estão ociosos.
- Disponibilizar modelos de embeddings e reranking para pipelines de busca ou recuperação.
Início rápido
- 1
Crie um cluster Kubernetes local
kind create cluster - 2
Adicione o repositório Helm do KubeAI
helm repo add kubeai https://www.kubeai.org - 3
Instale o KubeAI e aguarde até que os componentes estejam prontos
helm install kubeai kubeai/kubeai --wait --timeout 10m - 4
Instale os modelos predefinidos usando um arquivo values (consulte o YAML no README)
Antes de usar
- Requer um cluster Kubernetes em execução; não é uma ferramenta independente.
- A configuração local via Podman para kind requer pelo menos 6 GB de memória na máquina.
Em coleções
Tópicos
Perguntas frequentes
- O que é kubeai?
- Um operador do Kubernetes que implanta e escala automaticamente modelos de LLM, embeddings, reranking e transcrição de fala por meio de uma API compatível com a OpenAI. O KubeAI é um operador de inferência de IA para Kubernetes que implanta e escala modelos de machine learning, como LLMs, modelos de embeddings, rerankers e modelos de transcrição de fala. Ele gerencia servidores de backend como vLLM, Ollama, FasterWhisper e Infinity em Pods do Kubernetes, cuidando do download de modelos, da montagem de volumes e do carregamento dinâmico de adaptadores LoRA por meio de um recurso customizado Model.
- kubeai é gratuito? Qual é a licença?
- kubeai é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
- kubeai ainda é mantido?
- Manutenção ativa. O último commit de kubeai foi em 3 de nov. de 2026.
- Para que posso usar kubeai?
- Hospedar LLMs de pesos abertos no próprio cluster Kubernetes de uma empresa, por meio de uma API no estilo da OpenAI. Executar serviços de transcrição de fala que reduzem a escala quando estão ociosos. Disponibilizar modelos de embeddings e reranking para pipelines de busca ou recuperação.
- Como instalar kubeai?
- Crie um cluster Kubernetes local: kind create cluster Adicione o repositório Helm do KubeAI: helm repo add kubeai https://www.kubeai.org Instale o KubeAI e aguarde até que os componentes estejam prontos: helm install kubeai kubeai/kubeai --wait --timeout 10m Instale os modelos predefinidos usando um arquivo values (consulte o YAML no README)
- Onde consigo kubeai?
- O código-fonte e as instruções de instalação estão no GitHub: https://github.com/kubeai-project/kubeai
Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Projetos relacionados
Uma suíte de operadores Kubernetes que automatiza a implantação de serviços de inferência de LLM, fine-tuning e RAG em nós com GPU.
1 mil+3 esta semana195GoOtherAtualizado ontem
Um guard em Python apenas com numpy que detecta, durante o streaming, corrupção na decodificação de LLMs, como loops de repetição e deriva de idioma, e aborta antes que o usuário veja tokens ruins.
10415PythonApache-2.0Bem mantidoAtualizado há 2 meses
Guia e app de chatbot web para rodar um LLM pequeno e local com API compatível com a OpenAI em hardware de consumo, usando Ollama, vLLM ou llama-cpp-python.
35443JavaScriptMITAtualizado há 13 dias
Gateway de LLM em Rust, independente de engine, que roteia tráfego compatível com OpenAI e Anthropic entre engines de inferência self-hosted e provedores de modelos na nuvem.
701+8 esta semana210RustApache-2.0Bem mantidoAtualizado há 14 horas
Runtime open source em Go e Python para workloads de IA serverless, incluindo endpoints de inferência em GPU, sandboxes e tarefas em segundo plano.
1,8 mil+10 esta semana175GoAGPL-3.0Bem mantidoAtualizado há 14 horas