InftyAI/llmaz

这是什么？

核心功能

• 01通过声明 Model 和 Playground 资源即可在 Kubernetes 上部署 LLM 服务。
• 02支持 vLLM、TGI、SGLang、llama.cpp、TensorRT-LLM 等推理后端。
• 03自动从 Hugging Face、ModelScope 和对象存储加载模型。
• 04借助 LWS 实现多节点分布式推理。
• 05基于 LLM 指标的 HPA 扩缩容，并可通过 Karpenter 自动伸缩节点。
• 06通过 Envoy AI Gateway 实现基于 token 的限流和模型路由。

适用场景

• 在已有 GPU 的 Kubernetes 集群上托管开源大语言模型。
• 在混合异构加速卡上部署同一模型，以平衡成本与性能。
• 部署需要多节点分布式推理的大模型。
• 为内部团队提供兼容 OpenAI 接口的补全服务，并配合聊天界面使用。

快速上手

1. 1

   阅读安装指南并在 Kubernetes 集群上安装 llmaz

2. 2

   如果模型需要 Hugging Face 令牌，先创建对应的密钥

   kubectl create secret generic modelhub-secret --from-literal=HF_TOKEN=<your token>
3. 3

   应用 OpenModel 和 Playground 资源以部署 facebook/opt-125m

4. 4

   将服务端口转发到本地

   kubectl port-forward svc/opt-125m-lb 8080:8080

使用前须知

• !项目处于 alpha 阶段，在进入 Beta 之前 API 可能会变化。
• !部署需要已有的 Kubernetes 集群，自托管工作量较大。
• !使用 GPU 或 CPU 运行需要额外配置，例如 CPU 运行需参考 llama.cpp 示例。

收录于专题

标签

常见问题

llmaz 是什么？

基于 Kubernetes 的大语言模型推理平台，可统一部署和服务 vLLM、SGLang、llama.cpp 等多种推理后端。 llmaz 是一个运行在 Kubernetes 上的大语言模型推理平台。用户通过 Model 和 Playground 等 Kubernetes 资源声明所需模型，平台负责模型加载与服务暴露，只需少量配置即可得到可用的 LLM 接口。

llmaz 可以免费使用吗？用的什么许可证？

llmaz 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。

llmaz 还在维护吗？

半年内有更新。llmaz 最近一次提交是在 2026年8月27日。

llmaz 适合用来做什么？

在已有 GPU 的 Kubernetes 集群上托管开源大语言模型。 在混合异构加速卡上部署同一模型，以平衡成本与性能。 部署需要多节点分布式推理的大模型。 为内部团队提供兼容 OpenAI 接口的补全服务，并配合聊天界面使用。

llmaz 怎么安装和运行？

阅读安装指南并在 Kubernetes 集群上安装 llmaz 如果模型需要 Hugging Face 令牌，先创建对应的密钥: kubectl create secret generic modelhub-secret --from-literal=HF_TOKEN=<your token> 应用 OpenModel 和 Playground 资源以部署 facebook/opt-125m 将服务端口转发到本地: kubectl port-forward svc/opt-125m-lb 8080:8080

在哪里获取 llmaz？

源代码和安装说明在 GitHub 上：https://github.com/InftyAI/llmaz