ome は無料で使えますか？ライセンスは？

ome は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

ome は今もメンテナンスされていますか？

活発にメンテナンス中。ome の最終コミットは 2026年10月22日です。

ome は何に使えますか？

共有GPU Kubernetesクラスター上で、Llama、Qwen、DeepSeekなどのオープンウェイトLLMを複数サービングする。 prefillとdecodeを分離し、大規模モデルを複数ノードにまたがって実行する。 KEDA、Kueue、Gateway APIを使ってLLMのロールアウトとオートスケーリングを管理する。 BenchmarkJobリソースを使い、設定可能なトラフィックパターンでモデルの性能をベンチマークする。

ome のインストール方法は？

Helm で OME の CRD をインストールする: helm upgrade --install ome-crd oci://ghcr.io/moirai-internal/charts/ome-crd --namespace ome --create-namespace Helm で OME のリソースをインストールする: helm upgrade --install ome oci://ghcr.io/moirai-internal/charts/ome-resources --namespace ome

ome はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/ome-projects/ome

ome-projects/ome

Q: ome は今もメンテナンスされていますか？

活発にメンテナンス中。ome の最終コミットは 2026年10月22日 です。

SGLang、vLLM、TensorRT-LLM、Triton向けに、GPUスケジューリングとモデルのライフサイクル管理を備えたLLMサービング用Kubernetes Operator。

GitHub で見る公式サイト

スター: 518
フォーク: 104
未解決の Issue: 120
最終コミット: 15 時間前

これは何？

OME（Open Model Engine）は、大規模言語モデルのデプロイと運用を行うKubernetes Operatorです。ベースモデル、LoRAでファインチューニングした重み、サービングランタイム、推論サービスをカスタムリソースとして扱います。コントローラーはモデルファイルをダウンロードして解析し、適合するランタイム設定を選択したうえで、モデルの実行に必要なKubernetesリソースを生成します。

複数のモデルをGPU上で稼働させるクラスターを対象としています。専用スケジューラーによるGPUのビンパッキングスケジューリング、ハードウェア選択のためのAcceleratorClass、prefillとdecodeの分離、マルチノード推論、カナリアまたはブルーグリーンデプロイに対応します。Kueue、LeaderWorkerSet、KEDA、Gateway API Inference Extensionとの連携機能もあります。

`kubectl ome`プラグインを使うと、モデル、ランタイム、サービスの確認やログのストリーミングに加え、ロールバックやトラフィックのドレインなど、ガード付きの操作を実行できます。オプションのalphaアドオンとして、フリートのクォータ管理機能とGPU caretakerコンポーネントも提供しています。インストールにはHelm chartを使用し、Kubernetes 1.28以降が必要です。

主な機能

01モデル、ランタイム、推論サービスをKubernetesカスタムリソースとして定義できます。
02モデルのアーキテクチャ、形式、量子化方式、サイズに基づき、ランタイムを自動選択します。
03SGLangとvLLMに対応し、プロジェクトの説明ではTensorRT-LLMとTritonも挙げられています。
04prefillとdecodeの分離、マルチノード推論、カナリアまたはブルーグリーンデプロイに対応します。
05GPUのビンパッキングスケジューリングと、AcceleratorClassによるハードウェア選択に対応します。
06サービスの確認や、ガード付きのロールアウト操作およびトラフィック操作を行うkubectlプラグインを提供します。

ユースケース

共有GPU Kubernetesクラスター上で、Llama、Qwen、DeepSeekなどのオープンウェイトLLMを複数サービングする。
prefillとdecodeを分離し、大規模モデルを複数ノードにまたがって実行する。
KEDA、Kueue、Gateway APIを使ってLLMのロールアウトとオートスケーリングを管理する。
BenchmarkJobリソースを使い、設定可能なトラフィックパターンでモデルの性能をベンチマークする。

クイックスタート

1
Helm で OME の CRD をインストールする
helm upgrade --install ome-crd oci://ghcr.io/moirai-internal/charts/ome-crd --namespace ome --create-namespace
2
Helm で OME のリソースをインストールする
helm upgrade --install ome oci://ghcr.io/moirai-internal/charts/ome-resources --namespace ome

使う前に知っておきたいこと

Kubernetes 1.28 以降と、実行用の Kubernetes クラスターが必要です。
スケジューラー、クォータマネージャー、Alfred など、一部のアドオンはアルファ版です。

トピック

#llm-inference #kubernetes #model-serving #gpu-scheduling #sglang #vllm #llm-ops #deepseek #k8s #kimi-k2

よくある質問

ome とは？: SGLang、vLLM、TensorRT-LLM、Triton向けに、GPUスケジューリングとモデルのライフサイクル管理を備えたLLMサービング用Kubernetes Operator。 OME（Open Model Engine）は、大規模言語モデルのデプロイと運用を行うKubernetes Operatorです。ベースモデル、LoRAでファインチューニングした重み、サービングランタイム、推論サービスをカスタムリソースとして扱います。コントローラーはモデルファイルをダウンロードして解析し、適合するランタイム設定を選択したうえで、モデルの実行に必要なKubernetesリソースを生成します。
ome は無料で使えますか？ライセンスは？: ome は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
ome は今もメンテナンスされていますか？: 活発にメンテナンス中。ome の最終コミットは 2026年10月22日です。
ome は何に使えますか？: 共有GPU Kubernetesクラスター上で、Llama、Qwen、DeepSeekなどのオープンウェイトLLMを複数サービングする。 prefillとdecodeを分離し、大規模モデルを複数ノードにまたがって実行する。 KEDA、Kueue、Gateway APIを使ってLLMのロールアウトとオートスケーリングを管理する。 BenchmarkJobリソースを使い、設定可能なトラフィックパターンでモデルの性能をベンチマークする。
ome のインストール方法は？: Helm で OME の CRD をインストールする: helm upgrade --install ome-crd oci://ghcr.io/moirai-internal/charts/ome-crd --namespace ome --create-namespace Helm で OME のリソースをインストールする: helm upgrade --install ome oci://ghcr.io/moirai-internal/charts/ome-resources --namespace ome
ome はどこで入手できますか？: ソースコードとインストール手順は GitHub にあります：https://github.com/ome-projects/ome

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。