verl es una biblioteca open source de entrenamiento por aprendizaje por refuerzo para el postentrenamiento de modelos de lenguaje grandes, basada en el artículo HybridFlow.
23,9 mil4,8 milPythonApache-2.0Actualizado ayer
OpenRLHF/OpenRLHF
Framework basado en Ray y vLLM para RLHF y entrenamiento de agentes con modelos grandes de lenguaje y de visión y lenguaje.
- Estrellas
- 10,105
- Forks
- 1,049
- Issues abiertos
- 402
- Último commit
- hace 16 días
¿Qué es?
OpenRLHF es un framework para entrenar modelos grandes de lenguaje con aprendizaje por refuerzo a partir de feedback humano (RLHF) y métodos relacionados de RL para agentes. Usa Ray para distribuir entre GPU los modelos actor, de recompensa, de referencia y crítico, y vLLM para gestionar la generación de muestras, que, según el proyecto, representa la mayor parte del tiempo de entrenamiento de RLHF. El entrenamiento de modelos se basa en DeepSpeed ZeRO-3 y funciona directamente con checkpoints de Hugging Face Transformers.
El framework implementa PPO, REINFORCE++, REINFORCE++-baseline, GRPO, RLOO, filtrado dinámico al estilo DAPO y varios estimadores de ventaja más, que se seleccionan mediante flags de línea de comandos. Admite entrenamiento de un solo turno con funciones de recompensa personalizadas en Python o endpoints de recompensa remotos, y entrenamiento de agentes de varios turnos con entornos definidos mediante métodos reset y step. También incluye ajuste fino supervisado, entrenamiento de modelos de recompensa y DPO, además de LoRA, MoE, RingAttention y entrenamiento de modelos de visión y lenguaje.
El entrenamiento puede ejecutarse de forma síncrona, asíncrona o en modo de motor híbrido, donde los modelos comparten las GPU. Los trabajos multinodo pueden ejecutarse en clústeres de Ray o con SLURM.
Funciones clave
- 01Programación basada en Ray que asigna los modelos actor, de recompensa, de referencia y crítico a GPU separadas.
- 02Generación de muestras mediante vLLM, con paralelismo de tensores y de pipeline.
- 03Admite PPO, REINFORCE++, GRPO, RLOO y filtrado dinámico al estilo DAPO.
- 04Funciones de recompensa personalizadas para un solo turno y entornos de agentes de varios turnos con interfaces reset y step.
- 05Ajuste fino supervisado, entrenamiento de modelos de recompensa y DPO en la misma base de código.
- 06RLHF de modelos de visión y lenguaje con imágenes en los prompts y feedback del entorno.
Casos de uso
- Ejecutar aprendizaje por refuerzo de tipo PPO o GRPO en un LLM de entre 7B y más de 70B de parámetros en un clúster de GPU.
- Ajustar un modelo para razonamiento matemático o de código mediante recompensas basadas en reglas, como verificar respuestas o ejecutar pruebas.
- Crear agentes de varios turnos cuyo entorno de entrenamiento devuelve feedback después de cada acción del modelo.
- Entrenar con aprendizaje por refuerzo un modelo de visión y lenguaje para tareas basadas en imágenes.
Antes de usarlo
- Depende de una pila pesada de Ray, vLLM y DeepSpeed, lo que requiere más trabajo de configuración.
- Está diseñado para entrenar modelos grandes con varias GPU, por lo que necesita muchos recursos de GPU.
Temas
Preguntas frecuentes
- ¿Qué es OpenRLHF?
- Framework basado en Ray y vLLM para RLHF y entrenamiento de agentes con modelos grandes de lenguaje y de visión y lenguaje. OpenRLHF es un framework para entrenar modelos grandes de lenguaje con aprendizaje por refuerzo a partir de feedback humano (RLHF) y métodos relacionados de RL para agentes. Usa Ray para distribuir entre GPU los modelos actor, de recompensa, de referencia y crítico, y vLLM para gestionar la generación de muestras, que, según el proyecto, representa la mayor parte del tiempo de entrenamiento de RLHF. El entrenamiento de modelos se basa en DeepSpeed ZeRO-3 y funciona directamente con checkpoints de Hugging Face Transformers.
- ¿OpenRLHF es gratuito? ¿Qué licencia tiene?
- OpenRLHF es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿OpenRLHF sigue mantenido?
- Mantenimiento activo. El último commit de OpenRLHF fue el 5 oct 2026.
- ¿Para qué puedo usar OpenRLHF?
- Ejecutar aprendizaje por refuerzo de tipo PPO o GRPO en un LLM de entre 7B y más de 70B de parámetros en un clúster de GPU. Ajustar un modelo para razonamiento matemático o de código mediante recompensas basadas en reglas, como verificar respuestas o ejecutar pruebas. Crear agentes de varios turnos cuyo entorno de entrenamiento devuelve feedback después de cada acción del modelo. Entrenar con aprendizaje por refuerzo un modelo de visión y lenguaje para tareas basadas en imágenes.
- ¿Dónde consigo OpenRLHF?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/OpenRLHF/OpenRLHF
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Sistema de aprendizaje por refuerzo asíncrono a gran escala para entrenar modelos LLM de razonamiento y agentes, con entrenamiento RL de agentes de caja negra mediante un cambio de base_url.
5,9 mil634PythonApache-2.0Actualizado ayer
Motor de entrenamiento unificado para modelos multimodales, compatible con VLM, difusión y entrenamiento de LLM con FSDP2, Muon y kernels de Liger.
83238PythonSin licenciaActualizado hace 3 días
Una biblioteca de Hugging Face para el postentrenamiento de modelos de lenguaje transformer con SFT, GRPO, DPO, KTO y modelado de recompensas.
19,6 mil3,1 milPythonApache-2.0Actualizado hace 5 horas
Framework de RL en Python que entrena agentes LLM de varios pasos con su propia experiencia mediante GRPO y se integra con aplicaciones existentes gracias a su arquitectura cliente-servidor.
10,8 mil1 milPythonApache-2.0Actualizado ayer
Modelo multimodal de pesos abiertos y 9B parámetros para comprensión visual, razonamiento espacial, uso de herramientas por agentes e investigación en IA corporeizada, basado en Qwen3.5 y C-RADIOv4-H.
3,1 mil540PythonApache-2.0Actualizado el mes pasado