Repolode
Enviar
kaito-project

kaito-project/kaito

Uma suíte de operadores Kubernetes que automatiza a implantação de serviços de inferência de LLM, fine-tuning e RAG em nós com GPU.

Ver no GitHubSite
Estrelas
1,037
Forks
195
Issues abertas
73
Último commit
anteontem

O que é?

KAITO é uma suíte de operadores para Kubernetes que automatiza a execução de mecanismos de inferência de large language models, fine-tuning e Retrieval Augmented Generation (RAG) em um cluster. Os usuários informam o tipo de instância com GPU e o ID de um modelo do HuggingFace por meio de um recurso Workspace; então, o controller estima a memória de GPU necessária, calcula a quantidade de GPUs e inicia o provisionamento de nós pelas APIs NodePool do Karpenter.

O controller também gera configurações para o mecanismo de inferência para servir modelos em um ou vários nós, com base na topologia das GPUs. Assim, os usuários não precisam ajustar manualmente o paralelismo e o tamanho máximo do modelo. Atualmente, há suporte apenas para o mecanismo vLLM, com adaptadores LoRA e descarregamento do KV cache. O InferenceSet dimensiona réplicas com base nas métricas do vLLM, usando KEDA, e o InferencePool integra-se à Gateway API Inference Extension para fazer roteamento ciente do KV cache.

Um recurso RAGEngine separado implanta em conjunto um endpoint de LLM, um serviço de embeddings e um banco de dados vetorial (FAISS por padrão, ou Qdrant e Milvus), além de um RAGService baseado em LlamaIndex, que oferece indexação de documentos e recuperação híbrida com BM25 e busca vetorial.

Recursos principais

  • 01CRD Workspace que estima a memória e a quantidade de GPUs com base no ID de um modelo do HuggingFace e no tipo de instância.
  • 02Provisionamento automático de nós com GPU pelas APIs NodePool do Karpenter.
  • 03Parâmetros predefinidos de inferência para servir modelos com vLLM em um ou vários nós.
  • 04Autoscaling de réplicas de inferência com KEDA, usando métricas do vLLM.
  • 05RAGEngine com bancos vetoriais FAISS, Qdrant ou Milvus e recuperação híbrida com BM25 e busca vetorial.

Casos de uso

  • Servir LLMs de pesos abertos do HuggingFace em um cluster Kubernetes com nós com GPU.
  • Implantar um serviço RAG com indexação de documentos e um endpoint de chat no estilo OpenAI.
  • Dimensionar automaticamente réplicas de inferência de LLM conforme a carga de solicitações.
  • Executar inferência distribuída em vários nós para modelos que excedem a capacidade de um único nó com GPU.

Em coleções

Rode LLMs localmenteTreine e execute IA em GPUs

Tópicos

#kubernetes#llm-inference#gpu#operator#rag#vllm#autoscaling#ai

Perguntas frequentes

O que é kaito?
Uma suíte de operadores Kubernetes que automatiza a implantação de serviços de inferência de LLM, fine-tuning e RAG em nós com GPU. KAITO é uma suíte de operadores para Kubernetes que automatiza a execução de mecanismos de inferência de large language models, fine-tuning e Retrieval Augmented Generation (RAG) em um cluster. Os usuários informam o tipo de instância com GPU e o ID de um modelo do HuggingFace por meio de um recurso Workspace; então, o controller estima a memória de GPU necessária, calcula a quantidade de GPUs e inicia o provisionamento de nós pelas APIs NodePool do Karpenter.
kaito é gratuito? Qual é a licença?
kaito é open source sob a licença Other. Confira os termos da licença antes de usá-lo em produtos comerciais.
kaito ainda é mantido?
Manutenção ativa. O último commit de kaito foi em 6 de nov. de 2026.
Para que posso usar kaito?
Servir LLMs de pesos abertos do HuggingFace em um cluster Kubernetes com nós com GPU. Implantar um serviço RAG com indexação de documentos e um endpoint de chat no estilo OpenAI. Dimensionar automaticamente réplicas de inferência de LLM conforme a carga de solicitações. Executar inferência distribuída em vários nós para modelos que excedem a capacidade de um único nó com GPU.
Onde consigo kaito?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/kaito-project/kaito

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados