Repolode
提交项目
kaito-project

kaito-project/kaito

一套 Kubernetes Operator，可自动化部署 LLM 推理、微调和 RAG 服务到 GPU 节点上。

在 GitHub 查看官网
Star
1,037
Fork
195
未关闭 Issue
73
最近提交
昨天

这是什么？

KAITO 是运行在 Kubernetes 上的 Operator 套件，用于自动化部署大语言模型推理、微调以及检索增强生成（RAG）服务。用户通过 Workspace 资源指定 GPU 实例类型和 HuggingFace 模型 ID，控制器即可估算所需显存、计算 GPU 数量，并通过 Karpenter NodePool 接口触发节点自动供给。

控制器还会根据 GPU 拓扑为单机或多机推理生成推理引擎参数，无需手动调整并行策略和最大模型长度。目前仅支持 vLLM 引擎，支持 LoRA 适配器和 KV Cache 卸载。InferenceSet 可基于 vLLM 指标通过 KEDA 实现副本自动伸缩，InferencePool 则对接 Gateway API Inference Extension，实现感知 KV Cache 的路由。

独立的 RAGEngine 资源会一并部署 LLM 端点、向量化服务和向量数据库（默认 FAISS，也可选 Qdrant 或 Milvus）。其 RAGService 基于 LlamaIndex 构建，支持文档索引，并结合 BM25 与向量检索进行混合召回。

核心功能

  • 01Workspace 资源可根据 HuggingFace 模型 ID 和实例类型估算显存与 GPU 数量。
  • 02通过 Karpenter NodePool 接口自动供给 GPU 节点。
  • 03为单机和多机 vLLM 推理提供预设参数。
  • 04基于 vLLM 指标，通过 KEDA 自动伸缩推理副本。
  • 05RAGEngine 支持 FAISS、Qdrant、Milvus 向量库，并支持 BM25 与向量混合检索。

适用场景

  • 在带 GPU 节点的 Kubernetes 集群上部署 HuggingFace 上的开源大模型。
  • 搭建带文档索引和兼容 OpenAI 风格聊天接口的 RAG 服务。
  • 根据请求负载自动伸缩 LLM 推理副本。
  • 为单个 GPU 节点装不下的大模型运行多机分布式推理。

收录于专题

本地运行大模型GPU 加速的 AI 训练与推理工具

标签

#kubernetes#llm-inference#gpu#operator#rag#vllm#autoscaling#ai

常见问题

kaito 是什么？
一套 Kubernetes Operator，可自动化部署 LLM 推理、微调和 RAG 服务到 GPU 节点上。 KAITO 是运行在 Kubernetes 上的 Operator 套件，用于自动化部署大语言模型推理、微调以及检索增强生成（RAG）服务。用户通过 Workspace 资源指定 GPU 实例类型和 HuggingFace 模型 ID，控制器即可估算所需显存、计算 GPU 数量，并通过 Karpenter NodePool 接口触发节点自动供给。
kaito 可以免费使用吗？用的什么许可证？
kaito 以 Other 许可证开源。用于商业产品前，请先确认许可证条款。
kaito 还在维护吗？
活跃维护中。kaito 最近一次提交是在 2026年11月6日。
kaito 适合用来做什么？
在带 GPU 节点的 Kubernetes 集群上部署 HuggingFace 上的开源大模型。 搭建带文档索引和兼容 OpenAI 风格聊天接口的 RAG 服务。 根据请求负载自动伸缩 LLM 推理副本。 为单个 GPU 节点装不下的大模型运行多机分布式推理。
在哪里获取 kaito？
源代码和安装说明在 GitHub 上：https://github.com/kaito-project/kaito

概要由 AI 根据项目 README 生成；GitHub 数据每日更新。

相关项目