Kubernetes、Slurm、20以上のクラウドやGPUプロバイダーで、AIワークロードの実行・管理・スケールを一元的に行えるオープンソースシステム。
kubeflow/trainer
PyTorch、JAX、XGBoostなどのフレームワークで分散AIモデルの学習やLLMのファインチューニングを行う、Kubernetesネイティブのプラットフォーム。
- スター
- 2,251
- フォーク
- 1,087
- 未解決の Issue
- 251
- 最終コミット
- 14 時間前
これは何?
Kubeflow Trainerは、AIモデルの学習や大規模言語モデルのファインチューニングを行うKubernetesネイティブのプラットフォームです。PyTorch、MLX、HuggingFace、DeepSpeed、Megatron-LM、JAX、XGBoostなどのフレームワークでジョブを実行でき、TrainJob APIとRuntime APIを中心に構成されています。
KubernetesにMPIを導入し、複数ノード・複数GPUのジョブ間で低レイテンシの通信を可能にします。トポロジーを考慮したスケジューリングにはKueueとVolcano、KubernetesとSlurmを組み合わせたハイブリッドクラスターにはSlurm Bridge、GPUを考慮した配置にはKAI Schedulerを統合しています。オーケストレーションにはJobSetとLeaderWorkerSetを再利用します。
分散データキャッシュにより、大規模データセットをゼロコピー転送でGPUノードにストリーミングできます。Kubeflow Python SDKからジョブを実行できます。現在はアルファ版のため、APIが変更される可能性があります。
主な機能
- 01Kubernetes上で分散学習やLLMのファインチューニングジョブを実行できます。
- 02PyTorch、JAX、XGBoost、HuggingFace、DeepSpeed、Megatron-LMに対応しています。
- 03MPIを使って複数ノード・複数GPUのジョブをオーケストレーションできます。
- 04スケジューリングにKueue、Volcano、Slurm Bridge、KAI Schedulerを統合しています。
- 05ゼロコピー転送でGPUノードにデータを送る分散データキャッシュを提供します。
- 06TrainJobを投入するためのPython SDKを提供します。
ユースケース
- KubernetesのGPUクラスターで大規模言語モデルをファインチューニングする。
- HPC型のインフラで、MPIベースの複数ノード学習を実行する。
- ハイブリッドクラスターで、Slurmのワークロードと並行してAI学習をスケジューリングする。
クイックスタート
- 1
Kubeflow Trainer のドキュメントにある公式の「Getting Started」ガイドに従ってインストールしてください
使う前に知っておきたいこと
- このプロジェクトはアルファ版であり、API が変更される可能性があります。
- Kubernetes 向けに構築されているため、実行には Kubernetes クラスターが必要です。
トピック
よくある質問
- trainer とは?
- PyTorch、JAX、XGBoostなどのフレームワークで分散AIモデルの学習やLLMのファインチューニングを行う、Kubernetesネイティブのプラットフォーム。 Kubeflow Trainerは、AIモデルの学習や大規模言語モデルのファインチューニングを行うKubernetesネイティブのプラットフォームです。PyTorch、MLX、HuggingFace、DeepSpeed、Megatron-LM、JAX、XGBoostなどのフレームワークでジョブを実行でき、TrainJob APIとRuntime APIを中心に構成されています。
- trainer は無料で使えますか?ライセンスは?
- trainer は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
- trainer は今もメンテナンスされていますか?
- 活発にメンテナンス中。trainer の最終コミットは 2026年10月21日 です。
- trainer は何に使えますか?
- KubernetesのGPUクラスターで大規模言語モデルをファインチューニングする。 HPC型のインフラで、MPIベースの複数ノード学習を実行する。 ハイブリッドクラスターで、Slurmのワークロードと並行してAI学習をスケジューリングする。
- trainer のインストール方法は?
- Kubeflow Trainer のドキュメントにある公式の「Getting Started」ガイドに従ってインストールしてください
- trainer はどこで入手できますか?
- ソースコードとインストール手順は GitHub にあります:https://github.com/kubeflow/trainer
概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。
関連プロジェクト
大規模AIモデル向けのPyTorchベースの分散学習・推論システムで、並列化、メモリ最適化、異種ハードウェアでの学習を実現します。
ノートブックでのプロトタイプ作成から本番オーケストレーターへのデプロイまで対応する、AI・MLワークフロー構築・スケーリング用Pythonフレームワーク。
大規模モデルの分散学習と推論を、より簡単かつ効率的にする深層学習最適化ライブラリ。
量子化なしで、レイヤー単位に大規模言語モデルを実行し、70Bクラスのモデルを4GB GPU 1枚で推論できるPythonライブラリ。
ネットワーク経由で、CPUのみのマシンからリモートサーバー上のCUDA GPUを利用できるGPU over IPブリッジ。