rllm-org/rllm

¿Qué es?

Funciones clave

• 01Funciona con harnesses de CLI como Claude Code, Codex y mini-swe-agent, o con agentes personalizados escritos con @rllm.rollout.
• 02Ejecuta agentes en Docker, Daytona, Modal o sandboxes locales.
• 03Permite cambiar entre los backends de entrenamiento verl, tinker y Fireworks con una sola opción.
• 04Ofrece evaluación integrada para más de 60 benchmarks mediante rllm eval.
• 05Implementa GRPO, REINFORCE, RLOO, SFT y destilación on-policy.

Casos de uso

• Entrenar un agente de programación con aprendizaje por refuerzo en benchmarks como SWE-bench o Terminal-Bench.
• Realizar el postentrenamiento de un modelo matemático o de razonamiento con GRPO en conjuntos de datos como GSM8K o AIME.
• Mejorar una aplicación existente de LangGraph o OpenAI Agents SDK mediante RL, sin reescribir su código.
• Ejecutar el mismo agente tanto en flujos de evaluación como de entrenamiento en varias GPU.

Inicio rápido

1. 1

   Instala rLLM con uv (backend tinker)

   uv pip install "rllm @ git+https://github.com/rllm-org/rllm.git"
2. 2

   Configura tu proveedor de modelos

   rllm model setup
3. 3

   Evalúa con un benchmark

   rllm eval gsm8k
4. 4

   Entrena con RL

   rllm train gsm8k

Antes de usarlo

• !Requiere Python 3.11 o posterior.
• !El entrenamiento requiere un proveedor de modelos o un backend como tinker, verl con GPU o Fireworks.

Temas

Preguntas frecuentes

¿Qué es rllm?

Framework de código abierto para entrenar agentes LLM con aprendizaje por refuerzo, compatible con cualquier harness de agentes, sandbox y backend de entrenamiento. rLLM es un framework para el postentrenamiento de agentes de lenguaje con aprendizaje por refuerzo. Permite a los desarrolladores ejecutar un agente existente, ya sea un agente de programación con CLI como Claude Code o Codex, o uno personalizado creado con LangGraph o OpenAI SDK, y luego usar las trazas recopiladas y las señales de recompensa para actualizar el modelo. Se utiliza el mismo código del agente tanto para la evaluación como para el entrenamiento, así que no hace falta reescribir la configuración al pasar de uno al otro.

¿rllm es gratuito? ¿Qué licencia tiene?

rllm es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.

¿rllm sigue mantenido?

Mantenimiento activo. El último commit de rllm fue el 16 oct 2026.

¿Para qué puedo usar rllm?

Entrenar un agente de programación con aprendizaje por refuerzo en benchmarks como SWE-bench o Terminal-Bench. Realizar el postentrenamiento de un modelo matemático o de razonamiento con GRPO en conjuntos de datos como GSM8K o AIME. Mejorar una aplicación existente de LangGraph o OpenAI Agents SDK mediante RL, sin reescribir su código. Ejecutar el mismo agente tanto en flujos de evaluación como de entrenamiento en varias GPU.

¿Cómo se instala rllm?

Instala rLLM con uv (backend tinker): uv pip install "rllm @ git+https://github.com/rllm-org/rllm.git" Configura tu proveedor de modelos: rllm model setup Evalúa con un benchmark: rllm eval gsm8k Entrena con RL: rllm train gsm8k

¿Dónde consigo rllm?

El código fuente y las instrucciones de instalación están en GitHub: https://github.com/rllm-org/rllm