Repolode
Enviar
areal-project

areal-project/AReaL

Sistema de aprendizaje por refuerzo asíncrono a gran escala para entrenar modelos LLM de razonamiento y agentes, con entrenamiento RL de agentes de caja negra mediante un cambio de base_url.

Ver en GitHubSitio web
Estrellas
5,855
Forks
634
Issues abiertos
136
Último commit
hace 6 horas

¿Qué es?

AReaL es una infraestructura de aprendizaje por refuerzo para entrenar LLMs, orientada a modelos de razonamiento y aplicaciones con agentes. Usa un diseño de entrenamiento RL totalmente asíncrono, de modo que la generación de rollouts y el entrenamiento del modelo se ejecutan sin tener que esperar el uno al otro en cada paso.

El proyecto admite diversos algoritmos de RL, entre ellos GRPO, GSPO, PPO, DAPO, REINFORCE++, RLOO y DPO. Se puede activar el modo síncrono estableciendo max_head_offpolicyness en 0. Los backends de entrenamiento incluyen Megatron, PyTorch FSDP y PyTorch Archon, y la inferencia se ejecuta con vLLM o SGLang. Hay tareas de ejemplo de matemáticas con GSM8K, matemáticas con varios turnos, agentes de programación, atención al cliente con tau2, agentes de búsqueda y modelos de visión y lenguaje.

Para quienes desarrollan agentes, AReaL ofrece RL online para agentes de caja negra: basta con apuntar base_url y api_key de un agente existente al servicio RL de AReaL para entrenarlo, sin modificar el código. La configuración usa uv y un wheel de flash-attn, y los experimentos pueden ejecutarse en un solo nodo o en un clúster de Ray.

Funciones clave

  • 01Entrenamiento RL totalmente asíncrono para aumentar el rendimiento y la escalabilidad
  • 02RL online para agentes de caja negra mediante el cambio de base_url
  • 03Admite GRPO, GSPO, PPO, DAPO, DPO y otros algoritmos
  • 04Backends de entrenamiento: Megatron, PyTorch FSDP y PyTorch Archon
  • 05Backends de inferencia: vLLM y SGLang, con compatibilidad con LoRA

Casos de uso

  • Entrenar modelos de razonamiento con benchmarks matemáticos como GSM8K
  • Mejorar con RL un agente existente sin reescribir su código
  • Entrenar agentes de programación o atención al cliente con varios turnos en tau2-bench o tareas de SWE
  • Ejecutar experimentos de RL a gran escala en Ray o en clústeres de GPU al estilo de Slurm

Inicio rápido

  1. 1

    Clona el repositorio

    git clone https://github.com/areal-project/AReaL
  2. 2

    Instala uv

    pip install uv
  3. 3

    Instala los paquetes de entrenamiento y SGLang (CUDA)

    uv sync --extra cuda
  4. 4

    Ejecuta el ejemplo GSM8K GRPO en un solo nodo

    python3 examples/math/gsm8k_rl.py --config examples/math/gsm8k_grpo.yaml scheduler.type=local

Antes de usarlo

  • La configuración presupone un entorno con GPU NVIDIA CUDA y un conjunto amplio de dependencias pesadas, como flash-attn.
  • El entrenamiento y la inferencia completos requieren hardware GPU considerable, y el wheel de flash-attn indicado en el README es específico para Linux x86_64 y ciertas versiones de Python y CUDA.

Temas

#reinforcement-learning#llm#agent#llm-reasoning#distributed-training#grpo#vllm#sglang#llm-agent#machine-learning-systems

Preguntas frecuentes

¿Qué es AReaL?
Sistema de aprendizaje por refuerzo asíncrono a gran escala para entrenar modelos LLM de razonamiento y agentes, con entrenamiento RL de agentes de caja negra mediante un cambio de base_url. AReaL es una infraestructura de aprendizaje por refuerzo para entrenar LLMs, orientada a modelos de razonamiento y aplicaciones con agentes. Usa un diseño de entrenamiento RL totalmente asíncrono, de modo que la generación de rollouts y el entrenamiento del modelo se ejecutan sin tener que esperar el uno al otro en cada paso.
¿AReaL es gratuito? ¿Qué licencia tiene?
AReaL es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿AReaL sigue mantenido?
Mantenimiento activo. El último commit de AReaL fue el 20 oct 2026.
¿Para qué puedo usar AReaL?
Entrenar modelos de razonamiento con benchmarks matemáticos como GSM8K Mejorar con RL un agente existente sin reescribir su código Entrenar agentes de programación o atención al cliente con varios turnos en tau2-bench o tareas de SWE Ejecutar experimentos de RL a gran escala en Ray o en clústeres de GPU al estilo de Slurm
¿Cómo se instala AReaL?
Clona el repositorio: git clone https://github.com/areal-project/AReaL Instala uv: pip install uv Instala los paquetes de entrenamiento y SGLang (CUDA): uv sync --extra cuda Ejecuta el ejemplo GSM8K GRPO en un solo nodo: python3 examples/math/gsm8k_rl.py --config examples/math/gsm8k_grpo.yaml scheduler.type=local
¿Dónde consigo AReaL?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/areal-project/AReaL

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados