Repolode
Enviar
verl-project

verl-project/verl

verl es una biblioteca open source de entrenamiento por aprendizaje por refuerzo para el postentrenamiento de modelos de lenguaje grandes, basada en el artículo HybridFlow.

Ver en GitHubSitio web
Estrellas
23,942
Forks
4,779
Issues abiertos
1,366
Último commit
ayer

¿Qué es?

verl es una biblioteca de entrenamiento por RL para modelos de lenguaje grandes, publicada originalmente por el equipo ByteDance Seed y mantenida actualmente por una comunidad. Está orientada a flujos de trabajo de postentrenamiento, como PPO y GRPO, y se integra con motores de entrenamiento e inferencia existentes en lugar de sustituirlos.

El framework separa el cálculo de las dependencias de datos mediante un modelo de programación con controlador híbrido, que permite expresar flujos de datos de RL con pocas líneas de código. Es compatible con FSDP, FSDP2 y Megatron-LM para el entrenamiento, y con vLLM, SGLang y HF Transformers para la generación de rollouts. Los modelos se pueden distribuir con flexibilidad entre distintos grupos de GPU, y 3D-HybridEngine vuelve a distribuir los modelos actor entre las fases de entrenamiento y generación.

Además de los algoritmos básicos de RL, verl incluye ajuste fino supervisado, LoRA, llamadas a herramientas en varios turnos, RL multimodal para modelos de visión y lenguaje, y seguimiento de experimentos con wandb, swanlab, mlflow y tensorboard. Se ejecuta en hardware NVIDIA, AMD ROCm y Ascend.

Funciones clave

  • 01Es compatible con PPO, GRPO, GSPO, REINFORCE++, RLOO, DAPO y otros algoritmos de RL.
  • 02Se integra con FSDP y Megatron-LM para el entrenamiento, y con vLLM y SGLang para los rollouts.
  • 03Funciona con modelos de Hugging Face, como Qwen, Llama y Gemma.
  • 04Es compatible con LoRA, el empaquetado de secuencias y el paralelismo de expertos para modelos MoE grandes.
  • 05Incluye llamadas a herramientas en varios turnos y RL multimodal para modelos de visión y lenguaje.
  • 06Se ejecuta en hardware NVIDIA, AMD ROCm y Ascend.

Casos de uso

  • Postentrenar LLM para tareas de razonamiento matemático o de programación con recompensas verificables.
  • Ejecutar GRPO o PPO a gran escala en clústeres con varias GPU.
  • Entrenar agentes LLM que usan herramientas a lo largo de varios turnos.
  • Aplicar RL a modelos de visión y lenguaje con entradas multimodales.

Antes de usarlo

  • El entrenamiento de modelos grandes requiere hardware con GPU, y las funciones principales están dirigidas a clústeres multi-GPU.
  • El fragmento del README proporcionado no incluye ningún comando de instalación o ejecución, así que consulta la documentación completa para conocer los pasos de configuración.

Temas

#reinforcement-learning#llm#rlhf#post-training#ppo#grpo#distributed-training#vllm

Preguntas frecuentes

¿Qué es verl?
verl es una biblioteca open source de entrenamiento por aprendizaje por refuerzo para el postentrenamiento de modelos de lenguaje grandes, basada en el artículo HybridFlow. verl es una biblioteca de entrenamiento por RL para modelos de lenguaje grandes, publicada originalmente por el equipo ByteDance Seed y mantenida actualmente por una comunidad. Está orientada a flujos de trabajo de postentrenamiento, como PPO y GRPO, y se integra con motores de entrenamiento e inferencia existentes en lugar de sustituirlos.
¿verl es gratuito? ¿Qué licencia tiene?
verl es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿verl sigue mantenido?
Mantenimiento activo. El último commit de verl fue el 20 oct 2026.
¿Para qué puedo usar verl?
Postentrenar LLM para tareas de razonamiento matemático o de programación con recompensas verificables. Ejecutar GRPO o PPO a gran escala en clústeres con varias GPU. Entrenar agentes LLM que usan herramientas a lo largo de varios turnos. Aplicar RL a modelos de visión y lenguaje con entradas multimodales.
¿Dónde consigo verl?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/verl-project/verl

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados