Repolode
投稿する
kaito-project

kaito-project/kaito

GPUノードへのLLM推論、ファインチューニング、RAGサービスのデプロイを自動化するKubernetesオペレーター群。

GitHub で見る公式サイト
スター
1,037
フォーク
195
未解決の Issue
73
最終コミット
15 時間前

これは何？

KAITOは、クラスター内で大規模言語モデルの推論、ファインチューニング、Retrieval Augmented Generation（RAG）エンジンの実行を自動化するKubernetesオペレーター群です。ユーザーがWorkspaceリソースでGPUインスタンスタイプとHuggingFaceのモデルIDを指定すると、コントローラーが必要なGPUメモリを推定してGPU数を算出し、Karpenter NodePool APIを通じてノードのプロビジョニングを開始します。

コントローラーはGPUのトポロジーに基づいて、単一ノードまたは複数ノードでのサービング向けに推論エンジンの設定も生成するため、並列化や最大モデル長を手動で調整する必要がありません。現在サポートしているエンジンはvLLMのみで、LoRAアダプターとKVキャッシュのオフロードに対応しています。InferenceSetはKEDAを介し、vLLMのメトリクスに基づいてレプリカ数をスケーリングします。InferencePoolはGateway API Inference Extensionと連携し、KVキャッシュを考慮したルーティングを実現します。

別途、RAGEngineリソースを使うと、LLMエンドポイント、埋め込みサービス、ベクトルデータベース（デフォルトはFAISS。QdrantとMilvusにも対応）をまとめてデプロイできます。LlamaIndexを基盤とするRAGServiceは、ドキュメントのインデックス作成と、BM25とベクトル検索を組み合わせたハイブリッド検索に対応しています。

主な機能

  • 01HuggingFaceのモデルIDとインスタンスタイプから、GPUメモリとGPU数を推定するWorkspace CRD。
  • 02Karpenter NodePool APIを介したGPUノードの自動プロビジョニング。
  • 03単一ノードおよび複数ノードでのvLLMサービング向け推論パラメーターのプリセット。
  • 04vLLMのメトリクスを使ったKEDAベースの推論レプリカのオートスケーリング。
  • 05FAISS、Qdrant、Milvusのベクトルストアと、BM25およびベクトル検索を組み合わせたハイブリッド検索に対応するRAGEngine。

ユースケース

  • GPUノードを備えたKubernetesクラスター上で、HuggingFaceのオープンウェイトLLMをサービングする。
  • ドキュメントのインデックス作成とOpenAI形式のチャットエンドポイントを備えたRAGサービスをデプロイする。
  • リクエスト負荷に応じてLLM推論レプリカをオートスケーリングする。
  • 単一のGPUノードでは実行できないモデルの分散推論を、複数ノードで行う。

収録されている特集

LLM をローカルで動かすGPU で AI を学習・実行するツール

トピック

#kubernetes#llm-inference#gpu#operator#rag#vllm#autoscaling#ai

よくある質問

kaito とは？
GPUノードへのLLM推論、ファインチューニング、RAGサービスのデプロイを自動化するKubernetesオペレーター群。 KAITOは、クラスター内で大規模言語モデルの推論、ファインチューニング、Retrieval Augmented Generation（RAG）エンジンの実行を自動化するKubernetesオペレーター群です。ユーザーがWorkspaceリソースでGPUインスタンスタイプとHuggingFaceのモデルIDを指定すると、コントローラーが必要なGPUメモリを推定してGPU数を算出し、Karpenter NodePool APIを通じてノードのプロビジョニングを開始します。
kaito は無料で使えますか？ライセンスは？
kaito は Other ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
kaito は今もメンテナンスされていますか？
活発にメンテナンス中。kaito の最終コミットは 2026年11月6日 です。
kaito は何に使えますか？
GPUノードを備えたKubernetesクラスター上で、HuggingFaceのオープンウェイトLLMをサービングする。 ドキュメントのインデックス作成とOpenAI形式のチャットエンドポイントを備えたRAGサービスをデプロイする。 リクエスト負荷に応じてLLM推論レプリカをオートスケーリングする。 単一のGPUノードでは実行できないモデルの分散推論を、複数ノードで行う。
kaito はどこで入手できますか？
ソースコードとインストール手順は GitHub にあります：https://github.com/kaito-project/kaito

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト