defilantech/LLMKube

这是什么？

核心功能

• 01通过 Model 和 InferenceService 两个 CRD 以声明式方式部署大模型
• 02集群内支持 llama.cpp、vLLM、TGI，Apple Silicon 上支持原生 llama-server、mlx-server 和 vllm-swift
• 03同一集群可混合 NVIDIA CUDA、AMD（Vulkan）、Intel GPU 与 Apple Metal 设备
• 04提供兼容 OpenAI 的 /v1/chat/completions 接口并支持流式输出
• 05ModelRouter 可按策略在本地与云端模型之间路由，并支持失败即关闭
• 06内置 Prometheus 指标、OpenTelemetry 追踪和 Grafana 面板

适用场景

• 在本地机房或离线环境中基于 Kubernetes 运行大模型推理
• 将 Mac Studio 与 NVIDIA 服务器组成统一管理的推理集群
• 让涉及敏感数据的请求只走本地模型，其余请求转发到云端模型
• 在家庭实验室中混合使用多块 GPU 或不同硬件部署模型

快速上手

1. 1

   用 Homebrew 安装命令行工具

   brew install defilantech/tap/llmkube
2. 2

   用 Helm 在 Kubernetes 集群上安装 Operator

   helm repo add llmkube https://defilantech.github.io/LLMKube
3. 3

   用命令行部署模型

   llmkube deploy phi-4-mini
4. 4

   端口转发服务并调用兼容 OpenAI 的接口

   kubectl port-forward svc/phi-4-mini 8080:8080 &

使用前须知

• !需要 Kubernetes 集群，若只在一台机器上运行一个模型则显得过于复杂。
• !Apple Silicon 支持需要在 Mac 上单独运行 metal-agent。

收录于专题

标签

常见问题

LLMKube 是什么？

面向 Kubernetes 的 LLM 推理算子，统一调度 NVIDIA、AMD 与 Apple Silicon 设备上的自托管模型。 LLMKube 是一个用于部署和管理自托管大模型推理的 Kubernetes Operator。用户只需在 YAML 中定义 Model 和 InferenceService，算子即可完成模型下载与缓存、GPU 调度、健康检查、扩缩容，并提供兼容 OpenAI 接口的 API。集群内支持 llama.cpp、vLLM 和 TGI 等运行时。

LLMKube 可以免费使用吗？用的什么许可证？

LLMKube 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。

LLMKube 还在维护吗？

活跃维护中。LLMKube 最近一次提交是在 2026年11月6日。

LLMKube 适合用来做什么？

在本地机房或离线环境中基于 Kubernetes 运行大模型推理 将 Mac Studio 与 NVIDIA 服务器组成统一管理的推理集群 让涉及敏感数据的请求只走本地模型，其余请求转发到云端模型 在家庭实验室中混合使用多块 GPU 或不同硬件部署模型

LLMKube 怎么安装和运行？

用 Homebrew 安装命令行工具: brew install defilantech/tap/llmkube 用 Helm 在 Kubernetes 集群上安装 Operator: helm repo add llmkube https://defilantech.github.io/LLMKube 用命令行部署模型: llmkube deploy phi-4-mini 端口转发服务并调用兼容 OpenAI 的接口: kubectl port-forward svc/phi-4-mini 8080:8080 &

在哪里获取 LLMKube？

源代码和安装说明在 GitHub 上：https://github.com/defilantech/LLMKube