基于 Ray 和 vLLM 的强化学习框架，用于大语言模型与视觉语言模型的人类反馈强化学习训练。
1万1049PythonApache-2.0更新于 16天前
verl-project/verl
verl 是一个用于大语言模型后训练的开源强化学习训练库，基于 HybridFlow 论文实现。
- Star
- 23,942
- Fork
- 4,779
- 未关闭 Issue
- 1,366
- 最近提交
- 昨天
这是什么？
verl 是面向大语言模型的强化学习训练库，最初由字节跳动 Seed 团队开源，现由社区维护。它主要服务于 PPO、GRPO 等后训练流程，设计上是对接现有训练和推理引擎，而不是替代它们。
框架通过混合控制器（hybrid-controller）编程模型将计算与数据依赖解耦，用户只需几行代码即可描述 RL 数据流。训练端支持 FSDP、FSDP2 和 Megatron-LM，rollout 生成端支持 vLLM、SGLang 和 HF Transformers。模型可以灵活映射到不同的 GPU 组上，3D-HybridEngine 则负责在训练与生成阶段之间重新切分 actor 模型。
除核心 RL 算法外，verl 还支持监督微调、LoRA、多轮工具调用、视觉语言模型的多模态 RL，并可通过 wandb、swanlab、mlflow 和 tensorboard 记录实验。硬件方面支持 NVIDIA、AMD ROCm 和昇腾 Ascend。
核心功能
- 01支持 PPO、GRPO、GSPO、REINFORCE++、RLOO、DAPO 等强化学习算法。
- 02训练端集成 FSDP 与 Megatron-LM，rollout 端集成 vLLM 与 SGLang。
- 03兼容 Qwen、Llama、Gemma 等 Hugging Face 模型。
- 04支持 LoRA、序列打包和专家并行，可扩展到大型 MoE 模型。
- 05包含多轮工具调用和视觉语言模型的多模态 RL。
- 06可在 NVIDIA、AMD ROCm 和昇腾硬件上运行。
适用场景
- 使用可验证奖励对大模型进行数学或代码推理的后训练。
- 在多 GPU 集群上大规模运行 GRPO 或 PPO。
- 训练需要多轮调用工具的 LLM 智能体。
- 对接收多模态输入的视觉语言模型进行强化学习。
使用前须知
- 训练大模型需要 GPU 硬件，其主要功能面向多 GPU 集群。
- 提供的 README 内容未包含安装或运行命令，因此需要参考完整文档进行设置。
标签
常见问题
- verl 是什么？
- verl 是一个用于大语言模型后训练的开源强化学习训练库，基于 HybridFlow 论文实现。 verl 是面向大语言模型的强化学习训练库，最初由字节跳动 Seed 团队开源，现由社区维护。它主要服务于 PPO、GRPO 等后训练流程，设计上是对接现有训练和推理引擎，而不是替代它们。
- verl 可以免费使用吗？用的什么许可证？
- verl 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。
- verl 还在维护吗？
- 活跃维护中。verl 最近一次提交是在 2026年10月20日。
- verl 适合用来做什么？
- 使用可验证奖励对大模型进行数学或代码推理的后训练。 在多 GPU 集群上大规模运行 GRPO 或 PPO。 训练需要多轮调用工具的 LLM 智能体。 对接收多模态输入的视觉语言模型进行强化学习。
- 在哪里获取 verl？
- 源代码和安装说明在 GitHub 上：https://github.com/verl-project/verl
概要由 AI 根据项目 README 生成；GitHub 数据每日更新。
相关项目
面向大模型推理与智能体训练的大规模异步强化学习系统，支持通过替换 base_url 对黑盒智能体做在线 RL 训练。
5855634PythonApache-2.0更新于 昨天
基于 GRPO 的 Python 强化学习框架，让多步骤 LLM 智能体从自身经验中学习。
1.1万1008PythonApache-2.0更新于 昨天
Hugging Face 推出的库，用 SFT、GRPO、DPO、KTO 等方法对 Transformer 语言模型做后训练。
2万3086PythonApache-2.0更新于 6小时前
面向 600 多个大语言模型和 400 多个多模态模型的微调、训练、推理与部署框架。
1.6万1747PythonApache-2.0更新于 5小时前
开源的强化学习框架，用于训练语言智能体，可接入任意 agent harness、沙箱和训练后端。
5888633PythonApache-2.0更新于 5天前