Sistema assíncrono de reinforcement learning em larga escala para treinar modelos de raciocínio e agentes com LLMs, incluindo RL para agentes black-box com a troca de base_url.
5,9 mil634PythonApache-2.0Atualizado há 5 horas
OpenPipe/ART
Framework de RL em Python que treina agentes LLM em várias etapas com base na própria experiência, usando GRPO e uma arquitetura cliente-servidor que se integra a apps existentes.
- Estrelas
- 10,813
- Forks
- 1,008
- Issues abertas
- 171
- Último commit
- há 9 horas
O que é?
ART (Agent Reinforcement Trainer) é um framework de aprendizado por reforço de código aberto que aprimora agentes LLM com base na própria experiência. Os desenvolvedores envolvem um fluxo de trabalho agentivo existente com o cliente ART, que coleta trajetórias de mensagens e atribui uma recompensa a cada rollout; em seguida, treina o modelo com GRPO.
O sistema é dividido entre cliente e servidor. O cliente fica na sua base de código e expõe uma interface compatível com OpenAI. O servidor roda em qualquer máquina com GPU, cuida da inferência por meio do vLLM e do treinamento com atualizações LoRA, além de salvar cada novo checkpoint de volta no ciclo. O cliente pode rodar em um laptop enquanto o servidor roda localmente ou em um ambiente remoto com GPU.
O projeto oferece notebooks de exemplo para tarefas como busca em e-mails, 2048, jogo da velha e Codenames, além de uma opção RULER para geração automática de recompensas. É compatível com modelos de linguagem causal compatíveis com vLLM e Hugging Face transformers, incluindo as famílias Qwen e Llama, e oferece um backend de treinamento serverless por meio do Weights & Biases.
Recursos principais
- 01Treina agentes em várias etapas com GRPO usando trajetórias coletadas do seu próprio fluxo de trabalho.
- 02Arquitetura cliente-servidor com uma interface de cliente compatível com OpenAI.
- 03Executa inferência com vLLM e atualiza modelos por meio de checkpoints LoRA.
- 04Oferece geração automática de recompensas via RULER.
- 05Inclui notebooks de exemplo para jogos, busca em e-mails e destilação de SFT.
- 06Integra-se ao LangGraph, Langfuse e Weights & Biases para observabilidade.
Casos de uso
- Aprimorar a confiabilidade no uso de ferramentas de um agente LLM existente sem reescrever seu código.
- Treinar um modelo aberto pequeno, como Qwen, para executar uma tarefa específica em várias etapas, como buscar e-mails.
- Executar experimentos de RL em um cliente no laptop enquanto o treinamento roda em um servidor remoto com GPU.
- Ajustar um agente que chama ferramentas de servidores MCP.
Início rápido
- 1
Instale o pacote pelo PyPI
pip install openpipe-art
Antes de usar
- O treinamento requer uma GPU, localmente ou por meio do servidor ART ou do serviço serverless do W&B.
- Os modelos compatíveis se limitam a LMs causais do vLLM/Hugging Face; por enquanto, o Gemma 3 não é compatível.
- O projeto informa que está em desenvolvimento ativo, portanto as APIs podem mudar.
Tópicos
Perguntas frequentes
- O que é ART?
- Framework de RL em Python que treina agentes LLM em várias etapas com base na própria experiência, usando GRPO e uma arquitetura cliente-servidor que se integra a apps existentes. ART (Agent Reinforcement Trainer) é um framework de aprendizado por reforço de código aberto que aprimora agentes LLM com base na própria experiência. Os desenvolvedores envolvem um fluxo de trabalho agentivo existente com o cliente ART, que coleta trajetórias de mensagens e atribui uma recompensa a cada rollout; em seguida, treina o modelo com GRPO.
- ART é gratuito? Qual é a licença?
- ART é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
- ART ainda é mantido?
- Manutenção ativa. O último commit de ART foi em 20 de out. de 2026.
- Para que posso usar ART?
- Aprimorar a confiabilidade no uso de ferramentas de um agente LLM existente sem reescrever seu código. Treinar um modelo aberto pequeno, como Qwen, para executar uma tarefa específica em várias etapas, como buscar e-mails. Executar experimentos de RL em um cliente no laptop enquanto o treinamento roda em um servidor remoto com GPU. Ajustar um agente que chama ferramentas de servidores MCP.
- Como instalar ART?
- Instale o pacote pelo PyPI: pip install openpipe-art
- Onde consigo ART?
- O código-fonte e as instruções de instalação estão no GitHub: https://github.com/OpenPipe/ART
Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Projetos relacionados
verl é uma biblioteca open source de treinamento por aprendizado por reforço para o pós-treinamento de grandes modelos de linguagem, baseada no artigo HybridFlow.
23,9 mil4,8 milPythonApache-2.0Atualizado há 6 horas
Framework Python code-first do Google para criar, avaliar e implantar agentes de IA, otimizado para Gemini, mas independente de modelo.
21,9 mil4,4 milPythonApache-2.0Atualizado há 7 horas
Framework leve de RL agêntico da Microsoft para treinar agentes de IA existentes com reinforcement learning, mantendo suas ferramentas e seus harnesses reais.
18,8 mil1,9 milPythonMITAtualizado há 13 horas
Um agente minimalista de engenharia de software com IA que resolve issues do GitHub ou ajuda pela linha de comando, usando apenas bash e cerca de 100 linhas de Python no núcleo.
8,7 mil1,2 milPythonMITAtualizado há 17 horas
MaiBot (MaiSaka) é um agente conversacional baseado em LLM que conversa de forma descontraída e natural, principalmente em grupos do QQ, e conta com um sistema de plugins.
6,3 mil656PythonGPL-3.0Atualizado há 22 horas