rllm-org/rllm

这是什么？

核心功能

• 01兼容 Claude Code、Codex、mini-swe-agent 等命令行智能体，也支持用 @rllm.rollout 编写的自定义智能体。
• 02支持在 Docker、Daytona、Modal 或本地沙箱中执行智能体采样。
• 03通过一个参数即可在 verl、tinker、Fireworks 训练后端之间切换。
• 04通过 rllm eval 命令集成 60 多个评测基准。
• 05实现 GRPO、REINFORCE、RLOO、SFT 和 on-policy 蒸馏等训练方法。

适用场景

• 使用强化学习在 SWE-bench、Terminal-Bench 等基准上训练编码智能体。
• 用 GRPO 在 GSM8K、AIME 等数据集上对数学或推理模型进行后训练。
• 无需改写代码，通过强化学习改进基于 LangGraph 或 OpenAI Agents SDK 的现有应用。
• 让同一个智能体同时跑通评测与多 GPU 训练流程。

快速上手

1. 1

   使用 uv 安装 rLLM（tinker 后端）

   uv pip install "rllm @ git+https://github.com/rllm-org/rllm.git"
2. 2

   配置模型服务提供商

   rllm model setup
3. 3

   在基准测试上进行评估

   rllm eval gsm8k
4. 4

   使用强化学习进行训练

   rllm train gsm8k

使用前须知

• !需要 Python 3.11 或更高版本。
• !训练需要模型服务或后端支持，如 tinker、需要 GPU 的 verl 或 Fireworks。

标签

常见问题

rllm 是什么？

开源的强化学习框架，用于训练语言智能体，可接入任意 agent harness、沙箱和训练后端。 rLLM 是一个用强化学习对语言智能体进行后训练的框架。开发者可以直接运行现有智能体，包括 Claude Code、Codex 等命令行编码智能体，也可以运行基于 LangGraph 或 OpenAI Agents SDK 编写的自定义智能体，再利用采集到的轨迹和奖励信号更新模型。评测与训练使用同一份智能体代码，无需为两者分别改写。

rllm 可以免费使用吗？用的什么许可证？

rllm 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。

rllm 还在维护吗？

活跃维护中。rllm 最近一次提交是在 2026年10月16日。

rllm 适合用来做什么？

使用强化学习在 SWE-bench、Terminal-Bench 等基准上训练编码智能体。 用 GRPO 在 GSM8K、AIME 等数据集上对数学或推理模型进行后训练。 无需改写代码，通过强化学习改进基于 LangGraph 或 OpenAI Agents SDK 的现有应用。 让同一个智能体同时跑通评测与多 GPU 训练流程。

rllm 怎么安装和运行？

使用 uv 安装 rLLM（tinker 后端）: uv pip install "rllm @ git+https://github.com/rllm-org/rllm.git" 配置模型服务提供商: rllm model setup 在基准测试上进行评估: rllm eval gsm8k 使用强化学习进行训练: rllm train gsm8k

在哪里获取 rllm？

源代码和安装说明在 GitHub 上：https://github.com/rllm-org/rllm