SFT、DPO、GRPOに対応し、600以上の大規模言語モデルと400以上のマルチモーダルモデルのファインチューニング、学習、推論、デプロイを支援するフレームワーク。
AI-Hypercomputer/maxtext
Google CloudのTPUとGPUで大規模モデルの事前学習と事後学習を行うための、JAXベースのオープンソースLLMライブラリ兼リファレンス実装です。
- スター
- 2,444
- フォーク
- 628
- 未解決の Issue
- 477
- 最終コミット
- 2 時間前
これは何?
MaxTextは、JAXとXLAコンパイラを基盤とする、大規模言語モデルをGoogle CloudのTPUとGPUで学習するためのPythonライブラリです。Gemma、Llama、DeepSeek、Qwen、Mistral、Mixtral、GPT-OSSなどのモデル実装を提供し、単一ホストでの事前学習から大規模クラスターでの学習まで対応します。
事後学習では、教師ありファインチューニング(SFT)と、GRPOやGSPOなどの強化学習手法をサポートします。学習フレームワークにはTunixを、強化学習中のサンプリングにはvLLMを使用します。チェックポイント管理にはOrbax、最適化にはOptax、データ読み込みにはGrain、ニューラルネットワークにはFlaxを利用します。Gemma 3、Gemma 4、Llama 4のVLMではマルチモーダル学習も可能です。
このコードは、そのまま実行できる学習スタックであると同時に、開発の出発点としても使えるよう設計されています。既存の設定で実行した後、モデルをフォークして研究や本番環境の用途に合わせて変更することが推奨されています。Diffusionモデルには、別プロジェクトのMaxDiffusionを使用します。
主な機能
- 01Gemma、Llama、DeepSeek、Qwen、Mistralなど、多数のオープンモデルファミリーの事前学習と事後学習に対応。
- 02教師ありファインチューニングと強化学習(GRPO、GSPO)のパイプラインを提供。
- 03Google CloudのTPUとGPUを対象とし、マルチホストおよびマルチスライスでのスケーリングに対応。
- 04JAX、Flax、Optax、Orbax、Grainを基盤として構築。
- 05PyPIとビルド済みコンテナイメージで利用可能。
- 06Gemma 3、Gemma 4、Llama 4のVLMでマルチモーダル学習に対応。
ユースケース
- TPUまたはGPUクラスターで、独自のDenseまたはMoE言語モデルを事前学習する。
- Google Cloud上でSFTまたは強化学習を使い、GemmaやLlamaなどのオープンモデルをファインチューニングする。
- 大規模LLM学習コードを調査したり、フォークしたりするためのリファレンス実装としてMaxTextを利用する。
クイックスタート
- 1
インストールガイドに従って、PyPIからMaxTextをインストールします
- 2
既存の環境では、MaxTextのルートディレクトリからeditable installを実行します
pip install -e . - 3
初めてMaxTextを実行するには、Get Startedガイドに従ってください
使う前に知っておきたいこと
- Google CloudのTPUとGPU向けに構築されているため、活用するにはアクセラレータハードウェアが必要です。
- mainブランチは本番環境での使用を想定していません。最新のPyPIリリースをおすすめします。
- 主にサポートされているのはPython 3.12です。それ以外のバージョンでは互換性の問題が生じる場合があります。
トピック
よくある質問
- maxtext とは?
- Google CloudのTPUとGPUで大規模モデルの事前学習と事後学習を行うための、JAXベースのオープンソースLLMライブラリ兼リファレンス実装です。 MaxTextは、JAXとXLAコンパイラを基盤とする、大規模言語モデルをGoogle CloudのTPUとGPUで学習するためのPythonライブラリです。Gemma、Llama、DeepSeek、Qwen、Mistral、Mixtral、GPT-OSSなどのモデル実装を提供し、単一ホストでの事前学習から大規模クラスターでの学習まで対応します。
- maxtext は無料で使えますか?ライセンスは?
- maxtext は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
- maxtext は今もメンテナンスされていますか?
- 活発にメンテナンス中。maxtext の最終コミットは 2026年10月21日 です。
- maxtext は何に使えますか?
- TPUまたはGPUクラスターで、独自のDenseまたはMoE言語モデルを事前学習する。 Google Cloud上でSFTまたは強化学習を使い、GemmaやLlamaなどのオープンモデルをファインチューニングする。 大規模LLM学習コードを調査したり、フォークしたりするためのリファレンス実装としてMaxTextを利用する。
- maxtext のインストール方法は?
- インストールガイドに従って、PyPIからMaxTextをインストールします 既存の環境では、MaxTextのルートディレクトリからeditable installを実行します: pip install -e . 初めてMaxTextを実行するには、Get Startedガイドに従ってください
- maxtext はどこで入手できますか?
- ソースコードとインストール手順は GitHub にあります:https://github.com/AI-Hypercomputer/maxtext
概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。
関連プロジェクト
Gemma、Qwen、DeepSeek、gpt-ossなどのオープンモデルをローカルやクラウドで実行できるCLI・REST API・各種ライブラリ。
LLMや拡散モデルをローカルで実行・ファインチューニング・エクスポートできるオープンソースのデスクトップアプリ/Web UIと、コードベースの学習ライブラリ。
verlは、HybridFlow論文を基盤とする、大規模言語モデルの学習後処理向けオープンソース強化学習トレーニングライブラリです。
SFT、GRPO、DPO、KTO、報酬モデル学習に対応した、Transformer言語モデルのポストトレーニング用Hugging Faceライブラリ。
RayとvLLMを基盤とする、大規模言語モデルや視覚言語モデルのRLHFおよびエージェント型RL学習フレームワーク。