Repolode
Enviar
areal-project

areal-project/AReaL

Sistema assíncrono de reinforcement learning em larga escala para treinar modelos de raciocínio e agentes com LLMs, incluindo RL para agentes black-box com a troca de base_url.

Ver no GitHubSite
Estrelas
5,855
Forks
634
Issues abertas
136
Último commit
há 7 horas

O que é?

AReaL é uma infraestrutura de reinforcement learning para treinar LLMs, voltada a modelos de raciocínio e aplicações com agentes. Seu design de treinamento RL totalmente assíncrono permite que a geração de rollouts e o treinamento do modelo ocorram sem esperar um pelo outro em sincronia.

O projeto oferece suporte a vários algoritmos de RL, incluindo GRPO, GSPO, PPO, DAPO, REINFORCE++, RLOO e DPO. Também é possível usar o modo síncrono definindo max_head_offpolicyness como 0. Os backends de treinamento incluem Megatron, PyTorch FSDP e PyTorch Archon, e a inferência é executada no vLLM ou no SGLang. Entre as tarefas de exemplo estão matemática com GSM8K, matemática com várias interações, agentes de programação, atendimento ao cliente com tau2, agentes de busca e modelos de visão e linguagem.

Para quem desenvolve agentes, o AReaL oferece RL online para agentes black-box: é possível treinar um agente existente apontando seu base_url e api_key para o serviço de RL do AReaL, sem alterar o código. A configuração usa uv e um wheel do flash-attn, e os experimentos podem ser executados em um único nó ou em um cluster Ray.

Recursos principais

  • 01Treinamento RL totalmente assíncrono para maior throughput e escalabilidade
  • 02RL online para agentes black-box substituindo o base_url
  • 03Suporte a GRPO, GSPO, PPO, DAPO, DPO e outros algoritmos
  • 04Backends de treinamento: Megatron, PyTorch FSDP e PyTorch Archon
  • 05Backends de inferência: vLLM e SGLang, com suporte a LoRA

Casos de uso

  • Treinar modelos de raciocínio em benchmarks de matemática, como o GSM8K
  • Aprimorar um agente existente com RL sem reescrever seu código
  • Treinar agentes de programação ou atendimento ao cliente com várias interações em tau2-bench ou tarefas SWE
  • Executar experimentos de RL em larga escala em clusters de GPU com Ray ou no estilo Slurm

Início rápido

  1. 1

    Clone o repositório

    git clone https://github.com/areal-project/AReaL
  2. 2

    Instale o uv

    pip install uv
  3. 3

    Instale os pacotes de treinamento e o SGLang (CUDA)

    uv sync --extra cuda
  4. 4

    Execute o exemplo GSM8K GRPO em um único nó

    python3 examples/math/gsm8k_rl.py --config examples/math/gsm8k_grpo.yaml scheduler.type=local

Antes de usar

  • A configuração pressupõe um ambiente com GPU NVIDIA CUDA e um conjunto amplo de dependências pesadas, como flash-attn.
  • O treinamento e a inferência completos exigem hardware de GPU robusto, e o wheel do flash-attn indicado no README é específico para Linux x86_64 e determinadas versões do Python e do CUDA.

Tópicos

#reinforcement-learning#llm#agent#llm-reasoning#distributed-training#grpo#vllm#sglang#llm-agent#machine-learning-systems

Perguntas frequentes

O que é AReaL?
Sistema assíncrono de reinforcement learning em larga escala para treinar modelos de raciocínio e agentes com LLMs, incluindo RL para agentes black-box com a troca de base_url. AReaL é uma infraestrutura de reinforcement learning para treinar LLMs, voltada a modelos de raciocínio e aplicações com agentes. Seu design de treinamento RL totalmente assíncrono permite que a geração de rollouts e o treinamento do modelo ocorram sem esperar um pelo outro em sincronia.
AReaL é gratuito? Qual é a licença?
AReaL é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
AReaL ainda é mantido?
Manutenção ativa. O último commit de AReaL foi em 20 de out. de 2026.
Para que posso usar AReaL?
Treinar modelos de raciocínio em benchmarks de matemática, como o GSM8K Aprimorar um agente existente com RL sem reescrever seu código Treinar agentes de programação ou atendimento ao cliente com várias interações em tau2-bench ou tarefas SWE Executar experimentos de RL em larga escala em clusters de GPU com Ray ou no estilo Slurm
Como instalar AReaL?
Clone o repositório: git clone https://github.com/areal-project/AReaL Instale o uv: pip install uv Instale os pacotes de treinamento e o SGLang (CUDA): uv sync --extra cuda Execute o exemplo GSM8K GRPO em um único nó: python3 examples/math/gsm8k_rl.py --config examples/math/gsm8k_grpo.yaml scheduler.type=local
Onde consigo AReaL?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/areal-project/AReaL

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados