Repolode
提交项目
Denys88

Denys88/rl_games

基于 PyTorch 的强化学习库，支持 PPO 和 SAC，面向可在 GPU 上并行运行数千个环境的仿真器。

在 GitHub 查看
Star
1,410
Fork
223
未关闭 Issue
53
最近提交
19小时前

这是什么？

rl_games 是一个基于 PyTorch 的强化学习框架，实现了 PPO 和 SAC 算法。它主要面向 GPU 向量化仿真环境，单个进程即可同时驱动数千个环境，并提供 Isaac Lab、MJLab、EnvPool、MyoSuite 等环境的训练流程，也支持 MuJoCo、Atari 等常见 Gym 风格环境。

框架覆盖了机器人学习中常用的功能：带独立中心化价值网络的非对称 actor-critic、RNN 策略、基于 DistributedDataParallel 的多 GPU 训练、基于种群的训练（PBT）、自博弈，以及训练策略的 ONNX 导出。安装 Triton 后会自动使用 Triton 实现的 GAE 内核，实验结果也可以记录到 Weights & Biases。

训练通过 YAML 配置文件指定算法、网络和运行参数，使用脚本或 torchrun 启动，多卡训练即通过 torchrun 完成。项目列出了多篇仿真到现实（sim-to-real）机器人论文，这些工作均使用它训练策略。

核心功能

  • 01基于 PyTorch 实现 PPO 和 SAC 算法
  • 02支持带独立中心化价值网络的非对称 actor-critic
  • 03通过 torchrun 与 DistributedDataParallel 进行多 GPU 训练
  • 04支持基于种群的训练和自博弈
  • 05可将训练好的策略导出为 ONNX
  • 06通过 YAML 配置训练，并可接入 Weights & Biases 记录实验

适用场景

  • 在 Isaac Lab 或 MJLab 中训练运动控制或灵巧操作策略
  • 借助 EnvPool 进行高吞吐的 MuJoCo 或 Atari 实验
  • 将训练好的强化学习策略导出为 ONNX 以便部署
  • 在多块 GPU 上扩展强化学习训练

快速上手

  1. 1

    在 Google Colab 中打开 README 提供的 Mujoco 训练示例

使用前须知

  • MJLab 训练 notebook 需要本地 GPU；其 Colab 版本推荐使用 L4 或 A100 GPU。
  • 2.0.0 版本尚未发布，API 改为仅支持 gymnasium，并要求 Python 3.11 或更高版本。
  • 传统的 Isaac Gym 环境仅支持到 rl_games 1.6.5 版本。

收录于专题

强化学习训练框架与环境机器人与具身智能项目

标签

#reinforcement-learning#pytorch#gpu-simulation#robotics#ppo#sac#onnx#deep-learning

常见问题

rl_games 是什么？
基于 PyTorch 的强化学习库，支持 PPO 和 SAC，面向可在 GPU 上并行运行数千个环境的仿真器。 rl_games 是一个基于 PyTorch 的强化学习框架，实现了 PPO 和 SAC 算法。它主要面向 GPU 向量化仿真环境，单个进程即可同时驱动数千个环境，并提供 Isaac Lab、MJLab、EnvPool、MyoSuite 等环境的训练流程，也支持 MuJoCo、Atari 等常见 Gym 风格环境。
rl_games 可以免费使用吗？用的什么许可证？
rl_games 以 MIT 许可证开源。用于商业产品前，请先确认许可证条款。
rl_games 还在维护吗？
活跃维护中。rl_games 最近一次提交是在 2026年11月6日。
rl_games 适合用来做什么？
在 Isaac Lab 或 MJLab 中训练运动控制或灵巧操作策略 借助 EnvPool 进行高吞吐的 MuJoCo 或 Atari 实验 将训练好的强化学习策略导出为 ONNX 以便部署 在多块 GPU 上扩展强化学习训练
rl_games 怎么安装和运行？
在 Google Colab 中打开 README 提供的 Mujoco 训练示例
在哪里获取 rl_games？
源代码和安装说明在 GitHub 上：https://github.com/Denys88/rl_games

概要由 AI 根据项目 README 生成；GitHub 数据每日更新。

相关项目