kubeai-project/kubeai

これは何？

主な機能

• 01vLLM、Ollama、FasterWhisper、Infinityの各サーバーをKubernetes Podとしてデプロイする。
• 02需要に応じて、モデルのレプリカ数をゼロからスケーリングする。
• 03チャット、埋め込み、リランキング、文字起こし向けのOpenAI互換エンドポイントを公開する。
• 04プレフィックス認識型ロードバランシングにより、vLLMのKVキャッシュ利用率を高める。
• 05モデルのダウンロードとボリュームのマウントを自動化し、LoRAアダプターを管理する。

ユースケース

• 企業が自社のKubernetesクラスター上でオープンウェイトLLMをホストし、OpenAI形式のAPI経由で利用できるようにする。
• アイドル時にスケールダウンする音声認識サービスを運用する。
• 検索や検索拡張パイプライン向けに、埋め込みモデルやリランキングモデルを提供する。

クイックスタート

1. 1

   ローカル Kubernetes クラスターを作成する

   kind create cluster
2. 2

   KubeAI の Helm リポジトリを追加する

   helm repo add kubeai https://www.kubeai.org
3. 3

   KubeAI をインストールし、コンポーネントの準備が整うまで待つ

   helm install kubeai kubeai/kubeai --wait --timeout 10m
4. 4

   values ファイルを使って事前定義モデルをインストールする（YAML は README を参照）

使う前に知っておきたいこと

• !稼働中の Kubernetes クラスターが必要です。単体で動作するツールではありません。
• !kind 用の Podman ローカル環境には、マシンに少なくとも 6 GB のメモリが必要です。

収録されている特集

トピック

よくある質問

kubeai とは？

OpenAI互換APIの背後で、LLM、埋め込み、リランキング、音声認識モデルをデプロイして自動スケーリングするKubernetes Operator。 KubeAIは、LLM、埋め込みモデル、リランカー、音声認識モデルなどの機械学習モデルをデプロイしてスケーリングする、Kubernetes向けのAI推論Operatorです。vLLM、Ollama、FasterWhisper、InfinityなどのバックエンドサーバーをKubernetes Podとして管理し、Modelカスタムリソースを通じてモデルのダウンロード、ボリュームのマウント、LoRAアダプターの動的な読み込みを処理します。

kubeai は無料で使えますか？ライセンスは？

kubeai は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

kubeai は今もメンテナンスされていますか？

活発にメンテナンス中。kubeai の最終コミットは 2026年11月3日 です。

kubeai は何に使えますか？

企業が自社のKubernetesクラスター上でオープンウェイトLLMをホストし、OpenAI形式のAPI経由で利用できるようにする。 アイドル時にスケールダウンする音声認識サービスを運用する。 検索や検索拡張パイプライン向けに、埋め込みモデルやリランキングモデルを提供する。

kubeai のインストール方法は？

ローカル Kubernetes クラスターを作成する: kind create cluster KubeAI の Helm リポジトリを追加する: helm repo add kubeai https://www.kubeai.org KubeAI をインストールし、コンポーネントの準備が整うまで待つ: helm install kubeai kubeai/kubeai --wait --timeout 10m values ファイルを使って事前定義モデルをインストールする（YAML は README を参照）

kubeai はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/kubeai-project/kubeai