Repolode
Enviar
verl-project

verl-project/verl

verl é uma biblioteca open source de treinamento por aprendizado por reforço para o pós-treinamento de grandes modelos de linguagem, baseada no artigo HybridFlow.

Ver no GitHubSite
Estrelas
23,942
Forks
4,779
Issues abertas
1,366
Último commit
há 10 horas

O que é?

verl é uma biblioteca de treinamento por RL para grandes modelos de linguagem, lançada originalmente pela equipe Seed da ByteDance e mantida hoje por uma comunidade. Ela atende a fluxos de trabalho de pós-treinamento, como PPO e GRPO, e foi projetada para se integrar aos mecanismos de treinamento e inferência existentes, em vez de substituí-los.

O framework separa as dependências de computação e de dados por meio de um modelo de programação com controlador híbrido, que permite expressar fluxos de dados de RL com poucas linhas de código. Ele oferece suporte a FSDP, FSDP2 e Megatron-LM para treinamento, além de vLLM, SGLang e HF Transformers para geração de rollouts. Os modelos podem ser distribuídos com flexibilidade entre diferentes conjuntos de GPUs, e um 3D-HybridEngine redistribui os shards dos modelos ator entre as etapas de treinamento e geração.

Além dos algoritmos centrais de RL, verl inclui ajuste fino supervisionado, LoRA, chamadas a ferramentas em múltiplas rodadas, RL multimodal para modelos de visão e linguagem e rastreamento de experimentos com wandb, swanlab, mlflow e tensorboard. Ele funciona em hardware NVIDIA, AMD ROCm e Ascend.

Recursos principais

  • 01Oferece suporte a PPO, GRPO, GSPO, REINFORCE++, RLOO, DAPO e outros algoritmos de RL.
  • 02Integra FSDP e Megatron-LM para treinamento, e vLLM e SGLang para rollouts.
  • 03Funciona com modelos do Hugging Face, como Qwen, Llama e Gemma.
  • 04Oferece suporte a LoRA, empacotamento de sequências e paralelismo de especialistas para grandes modelos MoE.
  • 05Inclui chamadas a ferramentas em múltiplas rodadas e RL multimodal para modelos de visão e linguagem.
  • 06Funciona em hardware NVIDIA, AMD ROCm e Ascend.

Casos de uso

  • Fazer o pós-treinamento de LLMs para raciocínio matemático ou de programação com recompensas verificáveis.
  • Executar GRPO ou PPO em escala em clusters com várias GPUs.
  • Treinar agentes de LLM que chamam ferramentas ao longo de várias rodadas.
  • Aplicar RL a modelos de visão e linguagem com entradas multimodais.

Antes de usar

  • O treinamento de modelos grandes requer hardware com GPU, e os principais recursos são voltados para clusters com várias GPUs.
  • O trecho do README fornecido não inclui um comando de instalação ou execução; consulte a documentação completa para ver as etapas de configuração.

Tópicos

#reinforcement-learning#llm#rlhf#post-training#ppo#grpo#distributed-training#vllm

Perguntas frequentes

O que é verl?
verl é uma biblioteca open source de treinamento por aprendizado por reforço para o pós-treinamento de grandes modelos de linguagem, baseada no artigo HybridFlow. verl é uma biblioteca de treinamento por RL para grandes modelos de linguagem, lançada originalmente pela equipe Seed da ByteDance e mantida hoje por uma comunidade. Ela atende a fluxos de trabalho de pós-treinamento, como PPO e GRPO, e foi projetada para se integrar aos mecanismos de treinamento e inferência existentes, em vez de substituí-los.
verl é gratuito? Qual é a licença?
verl é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
verl ainda é mantido?
Manutenção ativa. O último commit de verl foi em 20 de out. de 2026.
Para que posso usar verl?
Fazer o pós-treinamento de LLMs para raciocínio matemático ou de programação com recompensas verificáveis. Executar GRPO ou PPO em escala em clusters com várias GPUs. Treinar agentes de LLM que chamam ferramentas ao longo de várias rodadas. Aplicar RL a modelos de visão e linguagem com entradas multimodais.
Onde consigo verl?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/verl-project/verl

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados