NVIDIA/Megatron-LM

これは何？

主な機能

• 01GPUをまたいでスケールするための、テンソル、パイプライン、データ、エキスパート、コンテキストの各並列化。
• 02FP16、BF16、FP8、FP4を用いた混合精度学習。
• 03カスタムフレームワーク向けに組み合わせて使えるTransformerの構成要素とモデルアーキテクチャ。
• 04研究用途向けの設定済み学習スクリプトとサンプル。
• 05Megatron Bridgeによる、Hugging Face形式とMegatron形式間のチェックポイント変換。

ユースケース

• 多次元並列処理を用いて、多数のGPU上で大規模言語モデルを学習する。
• GPU向けに最適化された構成要素を基盤に、カスタムの分散学習パイプラインを構築する。
• 設定済みスクリプトを使って、Transformerの学習に関する研究実験を行う。
• Hugging Face形式とMegatron形式の間でチェックポイントを変換する。

クイックスタート

1. 1

   PyPIからMegatron Coreをインストールする

   uv pip install megatron-core
2. 2

   またはリポジトリをクローンして、ソースからインストールする

   git clone https://github.com/NVIDIA/Megatron-LM.git && cd Megatron-LM && uv pip install -e .
3. 3

   データの準備とトレーニングの例については、公式の「Your First Training Run」ガイドに従う

使う前に知っておきたいこと

• !大規模モデルのトレーニングには、NVIDIA GPUと十分なクラスターリソースが必要です。
• !ソースからビルドすると大量のメモリを消費することがあり、コンパイルを制限するためにMAX_JOBSの設定が必要な場合があります。
• !devブランチなど、一部の機能は実験的なものです。
• !メタデータ上のライセンスはNOASSERTIONと記載されているため、使用前にLICENSEファイルを確認してください。

トピック

よくある質問

Megatron-LM とは？

多次元並列処理で大規模Transformerモデルを学習するための、GPU向け最適化ライブラリと学習用リファレンススクリプト。 Megatron-LMは、多数のGPUを使ってTransformerモデルを大規模に学習するためのNVIDIAのフレームワークです。リポジトリは2つの要素で構成されています。カスタム学習フレームワークを構築するための、GPU向けに最適化された部品を組み合わせられるライブラリMegatron Coreと、Megatron Coreを基盤に、研究や実験向けの設定済み学習スクリプトを追加したリファレンス実装のMegatron-LMです。

Megatron-LM は無料で使えますか？ライセンスは？

Megatron-LM は Other ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

Megatron-LM は今もメンテナンスされていますか？

活発にメンテナンス中。Megatron-LM の最終コミットは 2026年10月20日 です。

Megatron-LM は何に使えますか？

多次元並列処理を用いて、多数のGPU上で大規模言語モデルを学習する。 GPU向けに最適化された構成要素を基盤に、カスタムの分散学習パイプラインを構築する。 設定済みスクリプトを使って、Transformerの学習に関する研究実験を行う。 Hugging Face形式とMegatron形式の間でチェックポイントを変換する。

Megatron-LM のインストール方法は？

PyPIからMegatron Coreをインストールする: uv pip install megatron-core またはリポジトリをクローンして、ソースからインストールする: git clone https://github.com/NVIDIA/Megatron-LM.git && cd Megatron-LM && uv pip install -e . データの準備とトレーニングの例については、公式の「Your First Training Run」ガイドに従う

Megatron-LM はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/NVIDIA/Megatron-LM