Sistema de aprendizaje por refuerzo asíncrono a gran escala para entrenar modelos LLM de razonamiento y agentes, con entrenamiento RL de agentes de caja negra mediante un cambio de base_url.
5,9 mil634PythonApache-2.0Actualizado hace 7 horas
OpenPipe/ART
Framework de RL en Python que entrena agentes LLM de varios pasos con su propia experiencia mediante GRPO y se integra con aplicaciones existentes gracias a su arquitectura cliente-servidor.
- Estrellas
- 10,813
- Forks
- 1,008
- Issues abiertos
- 171
- Último commit
- hace 11 horas
¿Qué es?
ART (Agent Reinforcement Trainer) es un framework de aprendizaje por refuerzo de código abierto que mejora agentes LLM a partir de su propia experiencia. Los desarrolladores integran el cliente de ART en un flujo de trabajo agéntico existente. Este recopila trayectorias de mensajes y asigna una recompensa a cada rollout; después, entrena el modelo con GRPO.
El sistema se divide en un cliente y un servidor. El cliente se integra en tu base de código y ofrece una interfaz compatible con OpenAI. El servidor funciona en cualquier máquina con GPU, gestiona la inferencia mediante vLLM y el entrenamiento mediante actualizaciones LoRA, y guarda cada nuevo checkpoint para incorporarlo al ciclo. El cliente puede ejecutarse en una laptop mientras el servidor funciona de forma local o en un entorno remoto con GPU.
El proyecto incluye notebooks de ejemplo para tareas como buscar en el correo, jugar a 2048, al tres en raya y a Codenames, además de una opción RULER para generar recompensas automáticamente. Es compatible con modelos de lenguaje causales compatibles con vLLM y Hugging Face transformers, incluidas las familias Qwen y Llama, y ofrece un backend de entrenamiento sin servidor a través de Weights & Biases.
Funciones clave
- 01Entrena agentes de varios pasos con GRPO a partir de trayectorias recopiladas de tu propio flujo de trabajo.
- 02Arquitectura cliente-servidor con una interfaz de cliente compatible con OpenAI.
- 03Ejecuta inferencias con vLLM y actualiza los modelos mediante checkpoints LoRA.
- 04Permite generar recompensas automáticamente con RULER.
- 05Incluye notebooks de ejemplo sobre juegos, búsqueda en el correo y destilación SFT.
- 06Se integra con LangGraph, Langfuse y Weights & Biases para la observabilidad.
Casos de uso
- Mejorar la fiabilidad con la que un agente LLM existente utiliza herramientas, sin reescribir su código.
- Entrenar un modelo abierto pequeño, como Qwen, para realizar una tarea específica de varios pasos, como buscar en el correo.
- Ejecutar experimentos de RL desde un cliente en una laptop mientras el entrenamiento se realiza en un servidor remoto con GPU.
- Ajustar un agente que utiliza herramientas de servidores MCP.
Inicio rápido
- 1
Instala el paquete desde PyPI
pip install openpipe-art
Antes de usarlo
- El entrenamiento requiere una GPU, ya sea local o a través del servidor ART o del servicio serverless de W&B.
- Los modelos compatibles se limitan a los modelos de lenguaje causales de vLLM/Hugging Face; por ahora, Gemma 3 no es compatible.
- El proyecto indica que está en desarrollo activo, por lo que las API pueden cambiar.
Temas
Preguntas frecuentes
- ¿Qué es ART?
- Framework de RL en Python que entrena agentes LLM de varios pasos con su propia experiencia mediante GRPO y se integra con aplicaciones existentes gracias a su arquitectura cliente-servidor. ART (Agent Reinforcement Trainer) es un framework de aprendizaje por refuerzo de código abierto que mejora agentes LLM a partir de su propia experiencia. Los desarrolladores integran el cliente de ART en un flujo de trabajo agéntico existente. Este recopila trayectorias de mensajes y asigna una recompensa a cada rollout; después, entrena el modelo con GRPO.
- ¿ART es gratuito? ¿Qué licencia tiene?
- ART es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿ART sigue mantenido?
- Mantenimiento activo. El último commit de ART fue el 20 oct 2026.
- ¿Para qué puedo usar ART?
- Mejorar la fiabilidad con la que un agente LLM existente utiliza herramientas, sin reescribir su código. Entrenar un modelo abierto pequeño, como Qwen, para realizar una tarea específica de varios pasos, como buscar en el correo. Ejecutar experimentos de RL desde un cliente en una laptop mientras el entrenamiento se realiza en un servidor remoto con GPU. Ajustar un agente que utiliza herramientas de servidores MCP.
- ¿Cómo se instala ART?
- Instala el paquete desde PyPI: pip install openpipe-art
- ¿Dónde consigo ART?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/OpenPipe/ART
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
verl es una biblioteca open source de entrenamiento por aprendizaje por refuerzo para el postentrenamiento de modelos de lenguaje grandes, basada en el artículo HybridFlow.
23,9 mil4,8 milPythonApache-2.0Actualizado hace 8 horas
Framework de Python de Google, centrado en el código, para crear, evaluar y desplegar agentes de IA; optimizado para Gemini, pero independiente del modelo.
21,9 mil4,4 milPythonApache-2.0Actualizado hace 10 horas
Framework ligero de RL agéntico de Microsoft para entrenar agentes de IA existentes mediante aprendizaje por refuerzo, conservando sus herramientas y harnesses reales.
18,8 mil1,9 milPythonMITActualizado hace 16 horas
Un agente mínimo de ingeniería de software con IA que resuelve issues de GitHub o ayuda desde la línea de comandos usando solo bash y unas 100 líneas de Python para el núcleo.
8,7 mil1,2 milPythonMITActualizado hace 19 horas
MaiBot (MaiSaka) es un agente conversacional basado en LLM que conversa de forma informal y natural, principalmente en grupos de QQ, y cuenta con un sistema de plugins.
6,3 mil656PythonGPL-3.0Actualizado hace 24 horas