NVIDIA-NeMo/Automodel

これは何？

主な機能

• 01Hugging Faceモデルを変換せずに直接読み込み、SFT、LoRA、事前学習に利用できます。
• 02device meshの設定を変更することで、単一GPUからマルチノードジョブまで拡張できます。
• 03FSDP2、HSDP、tensor、context、sequence、pipelineの各並列化方式を組み合わせられます。
• 04Mixture-of-expertsモデル向けのexpert parallelismに対応しています。
• 05YAMLで定義したレシピを実行でき、CLIから設定を上書きできます。
• 06KubernetesとSlurmでのデプロイ手段を提供します。

ユースケース

• マルチGPUまたはマルチノードクラスターで、オープンウェイトの大規模LLMやVLMをファインチューニングする。
• expert parallelismを使って、最新のMoEモデルにLoRAまたは全パラメーターSFTを実行する。
• 推論を高速化するため、EAGLEなどの投機的デコーディング用ドラフターモデルを学習する。
• 並列化方式ごとにモデルコードを書き換えることなく、通常のPyTorchでトレーニングの変更を試作する。

使う前に知っておきたいこと

• !多くのレシピ例は、8〜16ノードやEP64構成など、大規模なマルチノードGPUクラスターを対象としています。

トピック

よくある質問

Automodel とは？

Hugging Faceのチェックポイントから直接、LLM、VLM、拡散モデルをファインチューニング・事前学習できる、PyTorch DTensorネイティブのトレーニングライブラリ。 NeMo AutoModelは、NVIDIA NeMo Frameworkに含まれるオープンソースのトレーニングライブラリです。DeviceMeshやDTensorなどのPyTorch分散処理プリミティブを基盤としています。大規模言語モデル、視覚言語モデル、拡散モデル、検索モデルの事前学習とファインチューニング（SFT、PEFT/LoRA）を対象としており、フォーマット変換なしでHugging Faceのチェックポイントを読み込めます。

Automodel は無料で使えますか？ライセンスは？

Automodel は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

Automodel は今もメンテナンスされていますか？

活発にメンテナンス中。Automodel の最終コミットは 2026年11月7日 です。

Automodel は何に使えますか？

マルチGPUまたはマルチノードクラスターで、オープンウェイトの大規模LLMやVLMをファインチューニングする。 expert parallelismを使って、最新のMoEモデルにLoRAまたは全パラメーターSFTを実行する。 推論を高速化するため、EAGLEなどの投機的デコーディング用ドラフターモデルを学習する。 並列化方式ごとにモデルコードを書き換えることなく、通常のPyTorchでトレーニングの変更を試作する。

Automodel はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/NVIDIA-NeMo/Automodel