ome-projects/ome

这是什么？

核心功能

• 01模型、运行时和推理服务均以 Kubernetes 自定义资源形式定义。
• 02根据模型架构、格式、量化方式和参数规模自动选择运行时配置。
• 03支持 SGLang 和 vLLM，项目描述中还提到 TensorRT-LLM 和 Triton。
• 04支持 Prefill-Decode 分离、多节点推理，以及金丝雀和蓝绿发布。
• 05提供 GPU 装箱调度和基于 AcceleratorClass 的硬件选择。
• 06提供 kubectl 插件，用于查看服务状态并执行受保护的发布和流量操作。

适用场景

• 在共享 GPU 的 Kubernetes 集群上部署 Llama、Qwen、DeepSeek 等开源大模型。
• 利用 Prefill-Decode 分离和多节点推理运行大型模型。
• 结合 KEDA、Kueue 或 Gateway API 管理 LLM 发布与弹性伸缩。
• 通过 BenchmarkJob 在可配置的流量模式下评估模型性能。

快速上手

1. 1

   使用 Helm 安装 OME CRD

   helm upgrade --install ome-crd oci://ghcr.io/moirai-internal/charts/ome-crd --namespace ome --create-namespace
2. 2

   使用 Helm 安装 OME 资源

   helm upgrade --install ome oci://ghcr.io/moirai-internal/charts/ome-resources --namespace ome

使用前须知

• !需要 Kubernetes 1.28 或更高版本的集群。
• !调度器、配额管理器和 Alfred 等附加组件处于 alpha 阶段。

标签

常见问题

ome 是什么？

一个 Kubernetes Operator，用于部署和管理大语言模型推理服务，支持 GPU 调度与模型全生命周期管理。 OME（Open Model Engine）是一个用于部署和运行大语言模型的 Kubernetes Operator。它把基础模型、LoRA 微调权重、推理运行时和推理服务都定义为自定义资源，控制器会下载并解析模型文件，选择匹配的运行时配置，并生成运行所需的 Kubernetes 资源。

ome 可以免费使用吗？用的什么许可证？

ome 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。

ome 还在维护吗？

活跃维护中。ome 最近一次提交是在 2026年10月22日。

ome 适合用来做什么？

在共享 GPU 的 Kubernetes 集群上部署 Llama、Qwen、DeepSeek 等开源大模型。 利用 Prefill-Decode 分离和多节点推理运行大型模型。 结合 KEDA、Kueue 或 Gateway API 管理 LLM 发布与弹性伸缩。 通过 BenchmarkJob 在可配置的流量模式下评估模型性能。

ome 怎么安装和运行？

使用 Helm 安装 OME CRD: helm upgrade --install ome-crd oci://ghcr.io/moirai-internal/charts/ome-crd --namespace ome --create-namespace 使用 Helm 安装 OME 资源: helm upgrade --install ome oci://ghcr.io/moirai-internal/charts/ome-resources --namespace ome

在哪里获取 ome？

源代码和安装说明在 GitHub 上：https://github.com/ome-projects/ome