Repolode
Enviar
NVIDIA-NeMo

NVIDIA-NeMo/labs-molt

Framework de RL com foco em agentes, nativo de PyTorch e HuggingFace, que combina Ray, vLLM e NVIDIA AutoModel com FSDP2 para treinar agentes assíncronos em múltiplas interações.

Ver no GitHub
Estrelas
1,218
Forks
122
Issues abertas
26
Último commit
há 3 dias

O que é?

Molt é um framework de aprendizado por reforço para treinar LLMs e VLMs em tarefas com agentes. A lógica de recompensa é escrita em Python comum, dentro de uma subclasse de Env ou ChatAgent, e abrange avaliadores, uso de ferramentas em múltiplas interações, ambientes de visão e linguagem e pontuação por LLM-as-judge. Ray gerencia a alocação e as filas assíncronas, vLLM executa os rollouts, e NVIDIA AutoModel com FSDP2 realiza o treinamento em PyTorch puro.

O framework oferece suporte a SFT e RL online, com estimadores como REINFORCE, GRPO, RLOO, PPO baseado em GAE e destilação on-policy. O paralelismo inclui paralelismo de tensor, especialista e contexto para modelos MoE, além de offload do otimizador para CPU. Rollout e treinamento se sobrepõem por meio de uma fila assíncrona, e os token ids, logprobs e tensores multimodais permanecem alinhados da geração ao treinamento.

A base de código tem cerca de 9,2 mil linhas de código de RL e pode ser instalada por meio de um container CUDA 13 ou com uma instalação local via pip que fixa um commit específico do AutoModel.

Recursos principais

  • 01As interfaces Env e ChatAgent permitem escrever funções de recompensa em Python comum, incluindo tarefas com ferramentas em múltiplas interações e tarefas com VLMs.
  • 02Filas assíncronas de rollout baseadas em Ray permitem sobrepor a geração com vLLM ao treinamento com FSDP2.
  • 03Oferece suporte a paralelismo TP, EP e CP, além de offload do otimizador para CPU, para modelos MoE de grande porte.
  • 04Os estimadores incluem REINFORCE, GRPO, RLOO, PPO com GAE e destilação on-policy.
  • 05O alinhamento em nível de token mantém ids, logprobs, intervalos de ações e tensores multimodais consistentes durante o treinamento.
  • 06Endpoints compatíveis com OpenAI e Anthropic são disponibilizados pelo mecanismo de rollout para harnesses externos de agentes.

Casos de uso

  • Pesquisar o fine-tuning de LLMs com RL em tarefas de matemática ou código, usando avaliadores personalizados.
  • Treinar modelos de visão e linguagem com uso de ferramentas Python em múltiplas interações.
  • Executar destilação on-policy de um checkpoint de um modelo professor maior para um modelo aluno menor.
  • Escalar experimentos de RL para modelos MoE de grande porte em vários nós com GPU.

Início rápido

  1. 1

    Clone o repositório

    git clone https://github.com/NVIDIA-NeMo/labs-molt.git
  2. 2

    Entre no diretório do projeto

    cd labs-molt
  3. 3

    Instale localmente com vLLM extras (requer CUDA 13)

    pip install -e ".[vllm]"

Antes de usar

  • Requer CUDA 13 (torch 2.13.0+cu130); não funcionará em ambientes com CUDA 12.
  • Se o driver do host for anterior à versão 580, você deve usar o contêiner em vez de fazer uma instalação local.
  • O pacote molt-rl do PyPI está defasado em relação à versão fixada do AutoModel e não é uma forma de instalação compatível.

Em coleções

Frameworks e ambientes de aprendizado por reforço

Tópicos

#reinforcement-learning#llm#agentic-rl#rlhf#pytorch#vllm#ray#fsdp#moe#context-parallelism

Perguntas frequentes

O que é labs-molt?
Framework de RL com foco em agentes, nativo de PyTorch e HuggingFace, que combina Ray, vLLM e NVIDIA AutoModel com FSDP2 para treinar agentes assíncronos em múltiplas interações. Molt é um framework de aprendizado por reforço para treinar LLMs e VLMs em tarefas com agentes. A lógica de recompensa é escrita em Python comum, dentro de uma subclasse de Env ou ChatAgent, e abrange avaliadores, uso de ferramentas em múltiplas interações, ambientes de visão e linguagem e pontuação por LLM-as-judge. Ray gerencia a alocação e as filas assíncronas, vLLM executa os rollouts, e NVIDIA AutoModel com FSDP2 realiza o treinamento em PyTorch puro.
labs-molt é gratuito? Qual é a licença?
labs-molt é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
labs-molt ainda é mantido?
Manutenção ativa. O último commit de labs-molt foi em 3 de nov. de 2026.
Para que posso usar labs-molt?
Pesquisar o fine-tuning de LLMs com RL em tarefas de matemática ou código, usando avaliadores personalizados. Treinar modelos de visão e linguagem com uso de ferramentas Python em múltiplas interações. Executar destilação on-policy de um checkpoint de um modelo professor maior para um modelo aluno menor. Escalar experimentos de RL para modelos MoE de grande porte em vários nós com GPU.
Como instalar labs-molt?
Clone o repositório: git clone https://github.com/NVIDIA-NeMo/labs-molt.git Entre no diretório do projeto: cd labs-molt Instale localmente com vLLM extras (requer CUDA 13): pip install -e ".[vllm]"
Onde consigo labs-molt?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/NVIDIA-NeMo/labs-molt

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados