面向大模型推理与智能体训练的大规模异步强化学习系统，支持通过替换 base_url 对黑盒智能体做在线 RL 训练。 AReaL 是一套面向大语言模型训练的强化学习基础设施，主要用于推理模型和智能体应用的训练。它采用全异步的 RL 训练范式，让生成轨迹与模型更新互不阻塞，从而提升训练效率与扩展性。

AReaL 可以免费使用吗？用的什么许可证？

AReaL 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。

AReaL 还在维护吗？

活跃维护中。AReaL 最近一次提交是在 2026年10月20日。

AReaL 适合用来做什么？

在 GSM8K 等数学基准上训练推理模型不改动现有智能体代码，用强化学习对其进行优化在 tau2-bench 或软件工程任务上训练多轮编程或客服智能体在 Ray 等 GPU 集群上开展大规模强化学习实验

AReaL 怎么安装和运行？

克隆仓库: git clone https://github.com/areal-project/AReaL 安装 uv: pip install uv 安装训练依赖与 SGLang（CUDA）: uv sync --extra cuda 在单节点上运行 GSM8K GRPO 示例: python3 examples/math/gsm8k_rl.py --config examples/math/gsm8k_grpo.yaml scheduler.type=local

在哪里获取 AReaL？

源代码和安装说明在 GitHub 上：https://github.com/areal-project/AReaL

areal-project/AReaL

面向大模型推理与智能体训练的大规模异步强化学习系统，支持通过替换 base_url 对黑盒智能体做在线 RL 训练。

在 GitHub 查看官网

Star: 5,855
Fork: 634
未关闭 Issue: 136
最近提交: 昨天

这是什么？

AReaL 是一套面向大语言模型训练的强化学习基础设施，主要用于推理模型和智能体应用的训练。它采用全异步的 RL 训练范式，让生成轨迹与模型更新互不阻塞，从而提升训练效率与扩展性。

项目支持 GRPO、GSPO、PPO、DAPO、REINFORCE++、RLOO、DPO 等多种算法，将 max_head_offpolicyness 设为 0 即可切换为同步模式。训练后端包括 Megatron、PyTorch FSDP 和 PyTorch Archon，推理后端可选 vLLM 或 SGLang。示例涵盖 GSM8K 数学推理、多轮数学、代码智能体、tau2 客服、搜索智能体以及视觉语言模型。

对于智能体开发者，AReaL 提供黑盒智能体的在线强化学习：只需将现有智能体的 base_url 和 api_key 指向 AReaL 的 RL 服务，无需修改代码即可训练。单机与 Ray 集群均可运行实验。

核心功能

01全异步 RL 训练，兼顾吞吐与扩展性
02通过替换 base_url 即可对黑盒智能体进行在线强化学习
03支持 GRPO、GSPO、PPO、DAPO、DPO 等多种算法
04训练后端支持 Megatron、PyTorch FSDP 和 PyTorch Archon
05推理后端支持 vLLM 与 SGLang，并支持 LoRA

适用场景

在 GSM8K 等数学基准上训练推理模型
不改动现有智能体代码，用强化学习对其进行优化
在 tau2-bench 或软件工程任务上训练多轮编程或客服智能体
在 Ray 等 GPU 集群上开展大规模强化学习实验

快速上手

1
克隆仓库
git clone https://github.com/areal-project/AReaL
2
安装 uv
pip install uv
3
安装训练依赖与 SGLang（CUDA）
uv sync --extra cuda
4
在单节点上运行 GSM8K GRPO 示例
python3 examples/math/gsm8k_rl.py --config examples/math/gsm8k_grpo.yaml scheduler.type=local

使用前须知

安装默认假设使用 NVIDIA CUDA GPU 环境，并依赖 flash-attn 等较重的依赖项。
完整的训练与推理需要较强的 GPU 硬件，README 中的 flash-attn 预编译轮子仅适用于特定的 Linux x86_64 系统及 Python、CUDA 版本。

常见问题

AReaL 是什么？: 面向大模型推理与智能体训练的大规模异步强化学习系统，支持通过替换 base_url 对黑盒智能体做在线 RL 训练。 AReaL 是一套面向大语言模型训练的强化学习基础设施，主要用于推理模型和智能体应用的训练。它采用全异步的 RL 训练范式，让生成轨迹与模型更新互不阻塞，从而提升训练效率与扩展性。
AReaL 可以免费使用吗？用的什么许可证？: AReaL 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。
AReaL 还在维护吗？: 活跃维护中。AReaL 最近一次提交是在 2026年10月20日。
AReaL 适合用来做什么？: 在 GSM8K 等数学基准上训练推理模型不改动现有智能体代码，用强化学习对其进行优化在 tau2-bench 或软件工程任务上训练多轮编程或客服智能体在 Ray 等 GPU 集群上开展大规模强化学习实验
AReaL 怎么安装和运行？: 克隆仓库: git clone https://github.com/areal-project/AReaL 安装 uv: pip install uv 安装训练依赖与 SGLang（CUDA）: uv sync --extra cuda 在单节点上运行 GSM8K GRPO 示例: python3 examples/math/gsm8k_rl.py --config examples/math/gsm8k_grpo.yaml scheduler.type=local
在哪里获取 AReaL？: 源代码和安装说明在 GitHub 上：https://github.com/areal-project/AReaL

概要由 AI 根据项目 README 生成；GitHub 数据每日更新。