Repolode
kubeflow

kubeflow/trainer

PyTorch、JAX、XGBoostなどのフレームワークで分散AIモデルの学習やLLMのファインチューニングを行う、Kubernetesネイティブのプラットフォーム。

スター
2,251
フォーク
1,087
未解決の Issue
251
最終コミット
14 時間前

これは何?

Kubeflow Trainerは、AIモデルの学習や大規模言語モデルのファインチューニングを行うKubernetesネイティブのプラットフォームです。PyTorch、MLX、HuggingFace、DeepSpeed、Megatron-LM、JAX、XGBoostなどのフレームワークでジョブを実行でき、TrainJob APIとRuntime APIを中心に構成されています。

KubernetesにMPIを導入し、複数ノード・複数GPUのジョブ間で低レイテンシの通信を可能にします。トポロジーを考慮したスケジューリングにはKueueとVolcano、KubernetesとSlurmを組み合わせたハイブリッドクラスターにはSlurm Bridge、GPUを考慮した配置にはKAI Schedulerを統合しています。オーケストレーションにはJobSetとLeaderWorkerSetを再利用します。

分散データキャッシュにより、大規模データセットをゼロコピー転送でGPUノードにストリーミングできます。Kubeflow Python SDKからジョブを実行できます。現在はアルファ版のため、APIが変更される可能性があります。

主な機能

  • 01Kubernetes上で分散学習やLLMのファインチューニングジョブを実行できます。
  • 02PyTorch、JAX、XGBoost、HuggingFace、DeepSpeed、Megatron-LMに対応しています。
  • 03MPIを使って複数ノード・複数GPUのジョブをオーケストレーションできます。
  • 04スケジューリングにKueue、Volcano、Slurm Bridge、KAI Schedulerを統合しています。
  • 05ゼロコピー転送でGPUノードにデータを送る分散データキャッシュを提供します。
  • 06TrainJobを投入するためのPython SDKを提供します。

ユースケース

  • KubernetesのGPUクラスターで大規模言語モデルをファインチューニングする。
  • HPC型のインフラで、MPIベースの複数ノード学習を実行する。
  • ハイブリッドクラスターで、Slurmのワークロードと並行してAI学習をスケジューリングする。

クイックスタート

  1. 1

    Kubeflow Trainer のドキュメントにある公式の「Getting Started」ガイドに従ってインストールしてください

使う前に知っておきたいこと

  • このプロジェクトはアルファ版であり、API が変更される可能性があります。
  • Kubernetes 向けに構築されているため、実行には Kubernetes クラスターが必要です。

トピック

よくある質問

trainer とは?
PyTorch、JAX、XGBoostなどのフレームワークで分散AIモデルの学習やLLMのファインチューニングを行う、Kubernetesネイティブのプラットフォーム。 Kubeflow Trainerは、AIモデルの学習や大規模言語モデルのファインチューニングを行うKubernetesネイティブのプラットフォームです。PyTorch、MLX、HuggingFace、DeepSpeed、Megatron-LM、JAX、XGBoostなどのフレームワークでジョブを実行でき、TrainJob APIとRuntime APIを中心に構成されています。
trainer は無料で使えますか?ライセンスは?
trainer は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
trainer は今もメンテナンスされていますか?
活発にメンテナンス中。trainer の最終コミットは 2026年10月21日 です。
trainer は何に使えますか?
KubernetesのGPUクラスターで大規模言語モデルをファインチューニングする。 HPC型のインフラで、MPIベースの複数ノード学習を実行する。 ハイブリッドクラスターで、Slurmのワークロードと並行してAI学習をスケジューリングする。
trainer のインストール方法は?
Kubeflow Trainer のドキュメントにある公式の「Getting Started」ガイドに従ってインストールしてください
trainer はどこで入手できますか?
ソースコードとインストール手順は GitHub にあります:https://github.com/kubeflow/trainer

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト