Repolode
Предложить
NVIDIA-NeMo

NVIDIA-NeMo/labs-molt

RL-фреймворк для исследований с приоритетом на агентные задачи, нативной поддержкой PyTorch и HuggingFace и асинхронным обучением многоходовых агентов на базе Ray, vLLM, NVIDIA AutoModel и FSDP2.

Открыть на GitHub
Звёзды
1,219
Форки
124
Открытые issues
26
Последний коммит
позавчера

Что это?

Molt — фреймворк обучения с подкреплением для подготовки LLM и VLM к агентным задачам. Логику вознаграждений можно описывать на обычном Python в подклассе Env или ChatAgent: поддерживаются проверяющие функции, многоходовое использование инструментов, vision-language-среды и оценивание по схеме LLM-as-judge. Ray отвечает за размещение и асинхронные очереди, vLLM выполняет генерацию траекторий, а NVIDIA AutoModel с FSDP2 проводит обучение на чистом PyTorch.

Фреймворк поддерживает SFT и online RL с такими оценивателями, как REINFORCE, GRPO, RLOO, PPO на основе GAE и on-policy дистилляция. Для моделей MoE доступны параллелизм по тензорам, экспертам и контексту, а также выгрузка состояния оптимизатора в CPU. Генерация траекторий и обучение выполняются одновременно через асинхронную очередь; token ids, logprobs и мультимодальные тензоры остаются согласованными от генерации до обучения.

Кодовая база содержит около 9,2 тыс. строк кода для RL. Фреймворк устанавливается через контейнер с CUDA 13 или локально через pip с фиксацией конкретного коммита AutoModel.

Ключевые возможности

  • 01Интерфейсы Env и ChatAgent позволяют описывать функции вознаграждения на обычном Python, в том числе для многоходового использования инструментов и задач VLM.
  • 02Асинхронные очереди генерации траекторий на базе Ray позволяют совмещать генерацию в vLLM с обучением на FSDP2.
  • 03Поддерживаются параллелизм TP, EP и CP, а также выгрузка состояния оптимизатора в CPU для крупных моделей MoE.
  • 04Среди оценивателей — REINFORCE, GRPO, RLOO, PPO с GAE и on-policy дистилляция.
  • 05Согласование на уровне токенов обеспечивает единообразие ids, logprobs, диапазонов действий и мультимодальных тензоров на всех этапах обучения.
  • 06Для внешних агентных систем из движка генерации траекторий предоставляются эндпоинты, совместимые с OpenAI и Anthropic.

Сценарии использования

  • Исследование дообучения LLM с помощью RL для математических задач или задач программирования с пользовательскими проверяющими функциями.
  • Обучение vision-language-моделей с многоходовым использованием инструментов на Python.
  • Проведение on-policy дистилляции из более крупного чекпойнта учителя в меньшую модель ученика.
  • Масштабирование экспериментов с RL на крупные модели MoE, распределённые по нескольким GPU-узлам.

Быстрый старт

  1. 1

    Клонируйте репозиторий

    git clone https://github.com/NVIDIA-NeMo/labs-molt.git
  2. 2

    Перейдите в каталог проекта

    cd labs-molt
  3. 3

    Установите локально с vLLM extras (требуется CUDA 13)

    pip install -e ".[vllm]"

Что важно знать

  • Требуется CUDA 13 (torch 2.13.0+cu130); в средах с CUDA 12 работать не будет.
  • Если версия драйвера хоста ниже 580, вместо локальной установки необходимо использовать контейнер.
  • Пакет molt-rl из PyPI отстаёт от закреплённой версии AutoModel и не является поддерживаемым способом установки.

В подборках

Фреймворки и среды для обучения с подкреплением

Темы

#reinforcement-learning#llm#agentic-rl#rlhf#pytorch#vllm#ray#fsdp#moe#context-parallelism

Частые вопросы

Что такое labs-molt?
RL-фреймворк для исследований с приоритетом на агентные задачи, нативной поддержкой PyTorch и HuggingFace и асинхронным обучением многоходовых агентов на базе Ray, vLLM, NVIDIA AutoModel и FSDP2. Molt — фреймворк обучения с подкреплением для подготовки LLM и VLM к агентным задачам. Логику вознаграждений можно описывать на обычном Python в подклассе Env или ChatAgent: поддерживаются проверяющие функции, многоходовое использование инструментов, vision-language-среды и оценивание по схеме LLM-as-judge. Ray отвечает за размещение и асинхронные очереди, vLLM выполняет генерацию траекторий, а NVIDIA AutoModel с FSDP2 проводит обучение на чистом PyTorch.
labs-molt можно использовать бесплатно? Какая у него лицензия?
labs-molt распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
labs-molt всё ещё поддерживается?
Активно поддерживается. Последний коммит в labs-molt — 6 нояб. 2026 г..
Для чего можно использовать labs-molt?
Исследование дообучения LLM с помощью RL для математических задач или задач программирования с пользовательскими проверяющими функциями. Обучение vision-language-моделей с многоходовым использованием инструментов на Python. Проведение on-policy дистилляции из более крупного чекпойнта учителя в меньшую модель ученика. Масштабирование экспериментов с RL на крупные модели MoE, распределённые по нескольким GPU-узлам.
Как установить labs-molt?
Клонируйте репозиторий: git clone https://github.com/NVIDIA-NeMo/labs-molt.git Перейдите в каталог проекта: cd labs-molt Установите локально с vLLM extras (требуется CUDA 13): pip install -e ".[vllm]"
Где скачать labs-molt?
Исходный код и инструкции по установке — на GitHub: https://github.com/NVIDIA-NeMo/labs-molt

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты