Repolode
AI-Hypercomputer

AI-Hypercomputer/maxtext

Google CloudのTPUとGPUで大規模モデルの事前学習と事後学習を行うための、JAXベースのオープンソースLLMライブラリ兼リファレンス実装です。

スター
2,444
フォーク
628
未解決の Issue
477
最終コミット
2 時間前

これは何?

MaxTextは、JAXとXLAコンパイラを基盤とする、大規模言語モデルをGoogle CloudのTPUとGPUで学習するためのPythonライブラリです。Gemma、Llama、DeepSeek、Qwen、Mistral、Mixtral、GPT-OSSなどのモデル実装を提供し、単一ホストでの事前学習から大規模クラスターでの学習まで対応します。

事後学習では、教師ありファインチューニング(SFT)と、GRPOやGSPOなどの強化学習手法をサポートします。学習フレームワークにはTunixを、強化学習中のサンプリングにはvLLMを使用します。チェックポイント管理にはOrbax、最適化にはOptax、データ読み込みにはGrain、ニューラルネットワークにはFlaxを利用します。Gemma 3、Gemma 4、Llama 4のVLMではマルチモーダル学習も可能です。

このコードは、そのまま実行できる学習スタックであると同時に、開発の出発点としても使えるよう設計されています。既存の設定で実行した後、モデルをフォークして研究や本番環境の用途に合わせて変更することが推奨されています。Diffusionモデルには、別プロジェクトのMaxDiffusionを使用します。

主な機能

  • 01Gemma、Llama、DeepSeek、Qwen、Mistralなど、多数のオープンモデルファミリーの事前学習と事後学習に対応。
  • 02教師ありファインチューニングと強化学習(GRPO、GSPO)のパイプラインを提供。
  • 03Google CloudのTPUとGPUを対象とし、マルチホストおよびマルチスライスでのスケーリングに対応。
  • 04JAX、Flax、Optax、Orbax、Grainを基盤として構築。
  • 05PyPIとビルド済みコンテナイメージで利用可能。
  • 06Gemma 3、Gemma 4、Llama 4のVLMでマルチモーダル学習に対応。

ユースケース

  • TPUまたはGPUクラスターで、独自のDenseまたはMoE言語モデルを事前学習する。
  • Google Cloud上でSFTまたは強化学習を使い、GemmaやLlamaなどのオープンモデルをファインチューニングする。
  • 大規模LLM学習コードを調査したり、フォークしたりするためのリファレンス実装としてMaxTextを利用する。

クイックスタート

  1. 1

    インストールガイドに従って、PyPIからMaxTextをインストールします

  2. 2

    既存の環境では、MaxTextのルートディレクトリからeditable installを実行します

    pip install -e .
  3. 3

    初めてMaxTextを実行するには、Get Startedガイドに従ってください

使う前に知っておきたいこと

  • Google CloudのTPUとGPU向けに構築されているため、活用するにはアクセラレータハードウェアが必要です。
  • mainブランチは本番環境での使用を想定していません。最新のPyPIリリースをおすすめします。
  • 主にサポートされているのはPython 3.12です。それ以外のバージョンでは互換性の問題が生じる場合があります。

トピック

よくある質問

maxtext とは?
Google CloudのTPUとGPUで大規模モデルの事前学習と事後学習を行うための、JAXベースのオープンソースLLMライブラリ兼リファレンス実装です。 MaxTextは、JAXとXLAコンパイラを基盤とする、大規模言語モデルをGoogle CloudのTPUとGPUで学習するためのPythonライブラリです。Gemma、Llama、DeepSeek、Qwen、Mistral、Mixtral、GPT-OSSなどのモデル実装を提供し、単一ホストでの事前学習から大規模クラスターでの学習まで対応します。
maxtext は無料で使えますか?ライセンスは?
maxtext は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
maxtext は今もメンテナンスされていますか?
活発にメンテナンス中。maxtext の最終コミットは 2026年10月21日 です。
maxtext は何に使えますか?
TPUまたはGPUクラスターで、独自のDenseまたはMoE言語モデルを事前学習する。 Google Cloud上でSFTまたは強化学習を使い、GemmaやLlamaなどのオープンモデルをファインチューニングする。 大規模LLM学習コードを調査したり、フォークしたりするためのリファレンス実装としてMaxTextを利用する。
maxtext のインストール方法は?
インストールガイドに従って、PyPIからMaxTextをインストールします 既存の環境では、MaxTextのルートディレクトリからeditable installを実行します: pip install -e . 初めてMaxTextを実行するには、Get Startedガイドに従ってください
maxtext はどこで入手できますか?
ソースコードとインストール手順は GitHub にあります:https://github.com/AI-Hypercomputer/maxtext

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト