Sistema assíncrono de reinforcement learning em larga escala para treinar modelos de raciocínio e agentes com LLMs, incluindo RL para agentes black-box com a troca de base_url.
5,9 mil634PythonApache-2.0Atualizado há 9 horas
rllm-org/rllm
Framework open source para treinar agentes com LLM usando aprendizado por reforço, compatível com qualquer harness de agente, sandbox e backend de treinamento.
- Estrelas
- 5,888
- Forks
- 633
- Issues abertas
- 172
- Último commit
- há 4 dias
O que é?
rLLM é um framework para fazer o pós-treinamento de agentes de linguagem com aprendizado por reforço. Ele permite que desenvolvedores executem um agente existente — seja um agente de programação via CLI, como Claude Code ou Codex, ou um agente personalizado criado com LangGraph ou OpenAI SDK — e depois usem os traces coletados e os sinais de recompensa para atualizar o modelo. O mesmo código do agente é usado tanto na avaliação quanto no treinamento, então não é preciso reescrever a configuração entre uma etapa e outra.
As execuções dos agentes podem rodar no Docker, Daytona, Modal ou localmente. O treinamento pode usar o backend verl para execuções distribuídas em várias GPUs, o backend tinker para treinamento em uma única máquina ou a plataforma Fireworks; basta trocar uma flag para mudar de backend. O projeto também inclui integrações com mais de 60 benchmarks, como Terminal-Bench 2.0, SWE-bench, AIME e GPQA, que podem ser executados com o comando rllm eval.
O framework oferece suporte a métodos de treinamento como GRPO, REINFORCE, RLOO, SFT e destilação on-policy. Durante as execuções dos agentes, um gateway de modelos captura token IDs e logprobs e os organiza em episódios, trajetórias e etapas para a atualização de RL.
Recursos principais
- 01Funciona com harnesses de CLI como Claude Code, Codex e mini-swe-agent, ou com agentes personalizados escritos usando @rllm.rollout.
- 02Executa agentes no Docker, Daytona, Modal ou em sandboxes locais.
- 03Permite alternar entre os backends de treinamento verl, tinker e Fireworks com uma única flag.
- 04Oferece avaliação integrada para mais de 60 benchmarks via rllm eval.
- 05Implementa GRPO, REINFORCE, RLOO, SFT e destilação on-policy.
Casos de uso
- Treinar um agente de programação com aprendizado por reforço em benchmarks como SWE-bench ou Terminal-Bench.
- Fazer o pós-treinamento de um modelo de matemática ou raciocínio com GRPO em conjuntos de dados como GSM8K ou AIME.
- Aprimorar uma aplicação existente feita com LangGraph ou OpenAI Agents SDK usando RL, sem reescrever seu código.
- Executar o mesmo agente em pipelines de avaliação e de treinamento com várias GPUs.
Início rápido
- 1
Instale o rLLM com uv (backend tinker)
uv pip install "rllm @ git+https://github.com/rllm-org/rllm.git" - 2
Configure seu provedor de modelos
rllm model setup - 3
Avalie em um benchmark
rllm eval gsm8k - 4
Treine com RL
rllm train gsm8k
Antes de usar
- Requer Python 3.11 ou mais recente.
- O treinamento requer um provedor de modelos ou um backend como tinker, verl com GPUs ou Fireworks.
Tópicos
Perguntas frequentes
- O que é rllm?
- Framework open source para treinar agentes com LLM usando aprendizado por reforço, compatível com qualquer harness de agente, sandbox e backend de treinamento. rLLM é um framework para fazer o pós-treinamento de agentes de linguagem com aprendizado por reforço. Ele permite que desenvolvedores executem um agente existente — seja um agente de programação via CLI, como Claude Code ou Codex, ou um agente personalizado criado com LangGraph ou OpenAI SDK — e depois usem os traces coletados e os sinais de recompensa para atualizar o modelo. O mesmo código do agente é usado tanto na avaliação quanto no treinamento, então não é preciso reescrever a configuração entre uma etapa e outra.
- rllm é gratuito? Qual é a licença?
- rllm é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
- rllm ainda é mantido?
- Manutenção ativa. O último commit de rllm foi em 16 de out. de 2026.
- Para que posso usar rllm?
- Treinar um agente de programação com aprendizado por reforço em benchmarks como SWE-bench ou Terminal-Bench. Fazer o pós-treinamento de um modelo de matemática ou raciocínio com GRPO em conjuntos de dados como GSM8K ou AIME. Aprimorar uma aplicação existente feita com LangGraph ou OpenAI Agents SDK usando RL, sem reescrever seu código. Executar o mesmo agente em pipelines de avaliação e de treinamento com várias GPUs.
- Como instalar rllm?
- Instale o rLLM com uv (backend tinker): uv pip install "rllm @ git+https://github.com/rllm-org/rllm.git" Configure seu provedor de modelos: rllm model setup Avalie em um benchmark: rllm eval gsm8k Treine com RL: rllm train gsm8k
- Onde consigo rllm?
- O código-fonte e as instruções de instalação estão no GitHub: https://github.com/rllm-org/rllm
Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Projetos relacionados
verl é uma biblioteca open source de treinamento por aprendizado por reforço para o pós-treinamento de grandes modelos de linguagem, baseada no artigo HybridFlow.
23,9 mil4,8 milPythonApache-2.0Atualizado há 10 horas
Ray é um framework unificado para escalar aplicações Python e de IA, do laptop ao cluster, com runtime distribuído e bibliotecas de IA.
44,1 mil8,2 milPythonApache-2.0Atualizado há 10 horas
Framework Python de código aberto para criar aplicações LLM prontas para produção, com pipelines modulares e fluxos de agentes para RAG, busca e agentes.
26,8 mil3,3 milPythonApache-2.0Atualizado há 10 horas
Framework Python code-first do Google para criar, avaliar e implantar agentes de IA, otimizado para Gemini, mas independente de modelo.
21,9 mil4,4 milPythonApache-2.0Atualizado há 11 horas
Framework de RL em Python que treina agentes LLM em várias etapas com base na própria experiência, usando GRPO e uma arquitetura cliente-servidor que se integra a apps existentes.
10,8 mil1 milPythonApache-2.0Atualizado há 13 horas