NVIDIA-NeMo/labs-molt

这是什么？

核心功能

• 01Env 与 ChatAgent 接口让奖励函数就是普通 Python 代码，支持多轮工具调用与 VLM 任务。
• 02基于 Ray 的异步 rollout 队列，使 vLLM 生成与 FSDP2 训练相互重叠。
• 03支持 TP、EP、CP 并行及优化器 CPU 卸载，适用于大规模 MoE 模型。
• 04内置 REINFORCE、GRPO、RLOO、基于 GAE 的 PPO 与 on-policy distillation。
• 05token 级对齐保证 token id、logprobs、动作范围与多模态张量在训练中保持一致。
• 06rollout 引擎提供 OpenAI 与 Anthropic 兼容接口，便于外部智能体框架接入。

适用场景

• 用自定义评分器对大模型做数学或代码任务的强化学习微调研究。
• 训练带多轮 Python 工具调用的视觉语言模型。
• 将大型教师模型的能力通过 on-policy distillation 迁移到小型学生模型。
• 在多 GPU 节点上将强化学习实验扩展到大规模 MoE 模型。

快速上手

1. 1

   克隆仓库

   git clone https://github.com/NVIDIA-NeMo/labs-molt.git
2. 2

   进入项目目录

   cd labs-molt
3. 3

   使用 vLLM 扩展在本地安装（需要 CUDA 13）

   pip install -e ".[vllm]"

使用前须知

• !需要 CUDA 13（torch 2.13.0+cu130），CUDA 12 环境无法使用。
• !如果主机驱动版本低于 580，需要使用容器而非本地安装。
• !PyPI 上的 molt-rl 包落后于固定的 AutoModel 版本，目前不是受支持的安装方式。

收录于专题

标签

常见问题

labs-molt 是什么？

面向研究的智能体优先强化学习框架，基于 PyTorch 与 HuggingFace，结合 Ray、vLLM 与 NVIDIA AutoModel 进行异步训练。 Molt 是一个面向研究的强化学习框架，用于在智能体任务上训练大语言模型和视觉语言模型。奖励逻辑直接写成 Python 代码，放在 Env 或 ChatAgent 子类中，可实现评分器、多轮工具调用、视觉语言环境以及 LLM-as-judge 打分。Ray 负责资源调度与异步队列，vLLM 负责 rollout 生成，NVIDIA AutoModel 配合 FSDP2 以纯 PyTorch 完成训练。

labs-molt 可以免费使用吗？用的什么许可证？

labs-molt 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。

labs-molt 还在维护吗？

活跃维护中。labs-molt 最近一次提交是在 2026年11月6日。

labs-molt 适合用来做什么？

用自定义评分器对大模型做数学或代码任务的强化学习微调研究。 训练带多轮 Python 工具调用的视觉语言模型。 将大型教师模型的能力通过 on-policy distillation 迁移到小型学生模型。 在多 GPU 节点上将强化学习实验扩展到大规模 MoE 模型。

labs-molt 怎么安装和运行？

克隆仓库: git clone https://github.com/NVIDIA-NeMo/labs-molt.git 进入项目目录: cd labs-molt 使用 vLLM 扩展在本地安装（需要 CUDA 13）: pip install -e ".[vllm]"

在哪里获取 labs-molt？

源代码和安装说明在 GitHub 上：https://github.com/NVIDIA-NeMo/labs-molt