kubeai-project/kubeai

这是什么？

核心功能

• 01将 vLLM、Ollama、FasterWhisper、Infinity 等推理服务以 Pod 形式部署到 Kubernetes。
• 02根据请求需求在零副本与多副本之间自动扩缩。
• 03提供兼容 OpenAI 的聊天、embeddings、rerank 和语音转写接口。
• 04采用前缀感知负载均衡，提升 vLLM 的 KV cache 利用率。
• 05自动下载模型并挂载存储卷，同时管理 LoRA 适配器。

适用场景

• 在企业自有 Kubernetes 集群上通过 OpenAI 风格 API 托管开源大模型。
• 运行按需伸缩、空闲时可缩至零的语音转文字服务。
• 为搜索或检索流程提供 embedding 与重排序模型服务。

快速上手

1. 1

   创建本地 Kubernetes 集群

   kind create cluster
2. 2

   添加 KubeAI Helm 仓库

   helm repo add kubeai https://www.kubeai.org
3. 3

   安装 KubeAI 并等待所有组件就绪

   helm install kubeai kubeai/kubeai --wait --timeout 10m
4. 4

   使用 values 文件安装预定义模型（YAML 内容见 README）

使用前须知

• !需要运行中的 Kubernetes 集群，不是独立工具。
• !使用 Podman 运行 kind 时，虚拟机至少需要 6 GB 内存。

收录于专题

标签

常见问题

kubeai 是什么？

一个 Kubernetes Operator，用于部署和自动扩缩 LLM、向量嵌入、重排序及语音转文字模型，并提供 OpenAI 兼容 API。 KubeAI 是一个面向 Kubernetes 的 AI 推理 Operator，用于部署和扩缩 LLM、向量嵌入、重排序以及语音转文字等机器学习模型。它将 vLLM、Ollama、FasterWhisper、Infinity 等推理后端作为 Pod 管理，并通过 Model 自定义资源处理模型下载、存储卷挂载和动态 LoRA 适配器加载。

kubeai 可以免费使用吗？用的什么许可证？

kubeai 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。

kubeai 还在维护吗？

活跃维护中。kubeai 最近一次提交是在 2026年11月3日。

kubeai 适合用来做什么？

在企业自有 Kubernetes 集群上通过 OpenAI 风格 API 托管开源大模型。 运行按需伸缩、空闲时可缩至零的语音转文字服务。 为搜索或检索流程提供 embedding 与重排序模型服务。

kubeai 怎么安装和运行？

创建本地 Kubernetes 集群: kind create cluster 添加 KubeAI Helm 仓库: helm repo add kubeai https://www.kubeai.org 安装 KubeAI 并等待所有组件就绪: helm install kubeai kubeai/kubeai --wait --timeout 10m 使用 values 文件安装预定义模型（YAML 内容见 README）

在哪里获取 kubeai？

源代码和安装说明在 GitHub 上：https://github.com/kubeai-project/kubeai