NVIDIA-NeMo/labs-molt

これは何？

主な機能

• 01EnvとChatAgentのインターフェースにより、マルチターンのツール利用やVLMタスクを含む報酬関数を通常のPythonコードで記述できます。
• 02Rayベースの非同期ロールアウトキューにより、vLLMの生成とFSDP2の学習を並行して実行できます。
• 03大規模MoEモデル向けに、TP、EP、CP並列化とオプティマイザーのCPUオフロードに対応します。
• 04REINFORCE、GRPO、RLOO、GAEを使ったPPO、オンポリシー蒸留などの推定手法を利用できます。
• 05トークン単位のアラインメントにより、学習中を通してID、logprobs、アクション範囲、マルチモーダルテンソルの整合性を保ちます。
• 06ロールアウトエンジンからOpenAIおよびAnthropic互換のエンドポイントを提供し、外部のエージェントハーネスで利用できます。

ユースケース

• 独自の採点器を使い、数学やコードのタスクでLLMをRLファインチューニングする研究。
• マルチターンのPythonツール利用を伴う視覚言語モデルの学習。
• 大規模な教師チェックポイントから小規模な生徒モデルへのオンポリシー蒸留。
• 複数のGPUノードにまたがって、大規模MoEモデルのRL実験をスケールさせる。

クイックスタート

1. 1

   リポジトリをクローンする

   git clone https://github.com/NVIDIA-NeMo/labs-molt.git
2. 2

   プロジェクトディレクトリに移動する

   cd labs-molt
3. 3

   vLLM extras を使ってローカルにインストールする（CUDA 13 が必要）

   pip install -e ".[vllm]"

使う前に知っておきたいこと

• !CUDA 13（torch 2.13.0+cu130）が必要です。CUDA 12 環境では動作しません。
• !ホストドライバーが 580 より古い場合は、ローカルインストールではなくコンテナを使用する必要があります。
• !PyPI の molt-rl パッケージは、指定バージョンの AutoModel より更新が遅れているため、サポート対象のインストール方法ではありません。

収録されている特集

トピック

よくある質問

labs-molt とは？

Ray、vLLM、NVIDIA AutoModelとFSDP2を組み合わせ、非同期のマルチターンエージェント学習を実現する、エージェント中心のPyTorch・HuggingFaceネイティブな研究向けRLフレームワーク。 Moltは、エージェントタスクでLLMやVLMを学習させるための強化学習フレームワークです。報酬ロジックはEnvまたはChatAgentのサブクラス内に通常のPythonコードとして記述でき、採点器、マルチターンのツール利用、視覚言語環境、LLM-as-judgeによるスコアリングに対応します。Rayが配置と非同期キューを管理し、vLLMがロールアウトを実行し、NVIDIA AutoModelとFSDP2が純粋なPyTorchで学習を行います。

labs-molt は無料で使えますか？ライセンスは？

labs-molt は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

labs-molt は今もメンテナンスされていますか？

活発にメンテナンス中。labs-molt の最終コミットは 2026年11月6日 です。

labs-molt は何に使えますか？

独自の採点器を使い、数学やコードのタスクでLLMをRLファインチューニングする研究。 マルチターンのPythonツール利用を伴う視覚言語モデルの学習。 大規模な教師チェックポイントから小規模な生徒モデルへのオンポリシー蒸留。 複数のGPUノードにまたがって、大規模MoEモデルのRL実験をスケールさせる。

labs-molt のインストール方法は？

リポジトリをクローンする: git clone https://github.com/NVIDIA-NeMo/labs-molt.git プロジェクトディレクトリに移動する: cd labs-molt vLLM extras を使ってローカルにインストールする（CUDA 13 が必要）: pip install -e ".[vllm]"

labs-molt はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/NVIDIA-NeMo/labs-molt