Repolode
Enviar
NVIDIA-NeMo

NVIDIA-NeMo/labs-molt

Framework de RL orientado primero a agentes, nativo de PyTorch y HuggingFace, que combina Ray, vLLM y NVIDIA AutoModel con FSDP2 para entrenar agentes asíncronos y con varios turnos.

Ver en GitHub
Estrellas
1,219
Forks
124
Issues abiertos
26
Último commit
anteayer

¿Qué es?

Molt es un framework de aprendizaje por refuerzo para entrenar LLM y VLM en tareas agénticas. La lógica de recompensa se escribe en Python estándar dentro de una subclase de Env o ChatAgent e incluye evaluadores, uso de herramientas en varios turnos, entornos de visión y lenguaje, y puntuación mediante LLM-as-judge. Ray gestiona la asignación de recursos y las colas asíncronas, vLLM ejecuta los rollouts y NVIDIA AutoModel con FSDP2 realiza el entrenamiento en PyTorch puro.

El framework admite SFT y RL online, con estimadores como REINFORCE, GRPO, RLOO, PPO basado en GAE y destilación on-policy. El paralelismo incluye paralelismo tensorial, de expertos y de contexto para modelos MoE, además de descarga de estados del optimizador a la CPU. Los rollouts y el entrenamiento se solapan mediante una cola asíncrona, y los IDs de tokens, los logprobs y los tensores multimodales se mantienen alineados desde la generación hasta el entrenamiento.

El código contiene aproximadamente 9,2 mil líneas de código de RL y se instala mediante un contenedor CUDA 13 o con una instalación local de pip que fija un commit específico de AutoModel.

Funciones clave

  • 01Las interfaces Env y ChatAgent permiten escribir las funciones de recompensa en Python estándar, incluso para herramientas de varios turnos y tareas de VLM.
  • 02Las colas asíncronas de rollouts basadas en Ray solapan la generación de vLLM con el entrenamiento de FSDP2.
  • 03Admite paralelismo TP, EP y CP, además de descarga de estados del optimizador a la CPU para modelos MoE grandes.
  • 04Incluye estimadores como REINFORCE, GRPO, RLOO, PPO con GAE y destilación on-policy.
  • 05La alineación a nivel de token mantiene coherentes los IDs, los logprobs, los rangos de acciones y los tensores multimodales durante el entrenamiento.
  • 06El motor de rollouts ofrece endpoints compatibles con OpenAI y Anthropic para harnesses de agentes externos.

Casos de uso

  • Investigar el ajuste fino de LLM con RL para tareas de matemáticas o programación mediante evaluadores personalizados.
  • Entrenar modelos de visión y lenguaje con uso de herramientas de Python en varios turnos.
  • Ejecutar destilación on-policy desde un checkpoint de un modelo docente más grande hacia un modelo estudiante más pequeño.
  • Escalar experimentos de RL a modelos MoE grandes distribuidos en varios nodos GPU.

Inicio rápido

  1. 1

    Clona el repositorio

    git clone https://github.com/NVIDIA-NeMo/labs-molt.git
  2. 2

    Entra en el directorio del proyecto

    cd labs-molt
  3. 3

    Instala localmente con vLLM extras (requiere CUDA 13)

    pip install -e ".[vllm]"

Antes de usarlo

  • Requiere CUDA 13 (torch 2.13.0+cu130); no funcionará en entornos con CUDA 12.
  • Si el controlador del host es anterior a la versión 580, debes usar el contenedor en lugar de instalarlo localmente.
  • El paquete molt-rl de PyPI va por detrás de la versión fijada de AutoModel y no es una vía de instalación compatible.

En colecciones

Frameworks y entornos de aprendizaje por refuerzo

Temas

#reinforcement-learning#llm#agentic-rl#rlhf#pytorch#vllm#ray#fsdp#moe#context-parallelism

Preguntas frecuentes

¿Qué es labs-molt?
Framework de RL orientado primero a agentes, nativo de PyTorch y HuggingFace, que combina Ray, vLLM y NVIDIA AutoModel con FSDP2 para entrenar agentes asíncronos y con varios turnos. Molt es un framework de aprendizaje por refuerzo para entrenar LLM y VLM en tareas agénticas. La lógica de recompensa se escribe en Python estándar dentro de una subclase de Env o ChatAgent e incluye evaluadores, uso de herramientas en varios turnos, entornos de visión y lenguaje, y puntuación mediante LLM-as-judge. Ray gestiona la asignación de recursos y las colas asíncronas, vLLM ejecuta los rollouts y NVIDIA AutoModel con FSDP2 realiza el entrenamiento en PyTorch puro.
¿labs-molt es gratuito? ¿Qué licencia tiene?
labs-molt es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿labs-molt sigue mantenido?
Mantenimiento activo. El último commit de labs-molt fue el 6 nov 2026.
¿Para qué puedo usar labs-molt?
Investigar el ajuste fino de LLM con RL para tareas de matemáticas o programación mediante evaluadores personalizados. Entrenar modelos de visión y lenguaje con uso de herramientas de Python en varios turnos. Ejecutar destilación on-policy desde un checkpoint de un modelo docente más grande hacia un modelo estudiante más pequeño. Escalar experimentos de RL a modelos MoE grandes distribuidos en varios nodos GPU.
¿Cómo se instala labs-molt?
Clona el repositorio: git clone https://github.com/NVIDIA-NeMo/labs-molt.git Entra en el directorio del proyecto: cd labs-molt Instala localmente con vLLM extras (requiere CUDA 13): pip install -e ".[vllm]"
¿Dónde consigo labs-molt?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/NVIDIA-NeMo/labs-molt

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados