Repolode
提交项目
OpenPipe

OpenPipe/ART

基于 GRPO 的 Python 强化学习框架，让多步骤 LLM 智能体从自身经验中学习。

在 GitHub 查看官网
Star
10,813
Fork
1,008
未关闭 Issue
171
最近提交
5小时前

这是什么？

ART（Agent Reinforcement Trainer）是一个开源强化学习框架，用于让 LLM 智能体从自身的执行经验中改进。开发者在现有的智能体工作流中接入 ART 客户端，它会记录每次执行的消息轨迹，为每次 rollout 分配奖励，再使用 GRPO 训练模型。

系统分为客户端和服务端两部分。客户端位于你的代码中，提供与 OpenAI 兼容的接口；服务端运行在任意带 GPU 的机器上，通过 vLLM 处理推理，并以 LoRA 方式完成训练，每轮生成的新检查点会回到训练循环中。客户端可以运行在笔记本电脑上，服务端则可以部署在本地或远程 GPU 环境。

项目提供了邮件检索、2048、井字棋、Codenames 等任务的示例 notebook，并支持基于 RULER 的自动奖励生成。它兼容 vLLM 与 Hugging Face transformers 的因果语言模型，包括 Qwen、Llama 等系列，并通过 Weights & Biases 提供无服务器训练后端。

核心功能

  • 01基于 GRPO，使用从自有工作流中收集的轨迹训练多步骤智能体。
  • 02采用客户端-服务端架构，客户端提供 OpenAI 兼容接口。
  • 03通过 vLLM 进行推理，并以 LoRA 检查点更新模型。
  • 04支持借助 RULER 自动生成奖励。
  • 05提供游戏、邮件检索、SFT 蒸馏等示例 notebook。
  • 06可与 LangGraph、Langfuse、Weights & Biases 集成以便观测调试。

适用场景

  • 在不重写代码的前提下，提升现有 LLM 智能体调用工具的可靠性。
  • 训练 Qwen 等小型开源模型完成邮件检索等特定多步骤任务。
  • 在笔记本电脑上运行客户端，同时在远程 GPU 服务器上训练。
  • 训练调用 MCP 服务器工具的智能体。

快速上手

  1. 1

    从 PyPI 安装包

    pip install openpipe-art

使用前须知

  • 训练需要 GPU，可以在本地运行，也可以通过 ART 服务器或 W&B 无服务器服务进行。
  • 支持的模型仅限于兼容 vLLM 或 Hugging Face 的因果语言模型；目前不支持 Gemma 3。
  • 项目称仍处于积极开发阶段，API 可能会发生变化。

标签

#agent#reinforcement-learning#grpo#llm#lora#vllm#python#agentic-ai#llms#qwen

常见问题

ART 是什么？
基于 GRPO 的 Python 强化学习框架，让多步骤 LLM 智能体从自身经验中学习。 ART（Agent Reinforcement Trainer）是一个开源强化学习框架，用于让 LLM 智能体从自身的执行经验中改进。开发者在现有的智能体工作流中接入 ART 客户端，它会记录每次执行的消息轨迹，为每次 rollout 分配奖励，再使用 GRPO 训练模型。
ART 可以免费使用吗？用的什么许可证？
ART 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。
ART 还在维护吗？
活跃维护中。ART 最近一次提交是在 2026年10月20日。
ART 适合用来做什么？
在不重写代码的前提下，提升现有 LLM 智能体调用工具的可靠性。 训练 Qwen 等小型开源模型完成邮件检索等特定多步骤任务。 在笔记本电脑上运行客户端，同时在远程 GPU 服务器上训练。 训练调用 MCP 服务器工具的智能体。
ART 怎么安装和运行？
从 PyPI 安装包: pip install openpipe-art
在哪里获取 ART？
源代码和安装说明在 GitHub 上：https://github.com/OpenPipe/ART

概要由 AI 根据项目 README 生成；GitHub 数据每日更新。

相关项目