Repolode
投稿する
Denys88

Denys88/rl_games

数千の環境を並列実行するGPUベクトル化シミュレーター向けに構築された、PyTorch製の強化学習ライブラリ（PPO、SAC）。

GitHub で見る
スター
1,411
フォーク
223
未解決の Issue
53
最終コミット
昨日

これは何？

rl_gamesは、PPOとSACをPyTorchで実装した強化学習フレームワークです。主な用途は、単一プロセスで数千の環境を同時に動かすGPUベクトル化シミュレーターでの学習です。Isaac Lab、MJLab、EnvPool、MyoSuite向けの学習パイプラインに加え、MuJoCoやAtariなどのGym形式の環境にも対応しています。

ロボット学習でよく必要となる機能として、独立したcentral-value criticを備える非対称actor-critic、RNNポリシー、DistributedDataParallelによるマルチGPU学習、population-based training、self-play、学習済みポリシーのONNXエクスポートを提供します。Tritonがインストールされている場合はTritonベースのGAEカーネルを使用でき、実験結果はWeights and Biasesに記録できます。

学習は、アルゴリズム、ネットワーク、runnerの設定を記述したYAMLファイルで構成し、runnerスクリプトまたはマルチGPU実行用のtorchrunで開始します。このプロジェクトでは、ポリシー学習に利用したsim-to-realロボティクス論文も複数紹介しています。

主な機能

  • 01PyTorchによるPPOおよびSACの実装
  • 02独立したcentral-value criticを備える非対称actor-critic
  • 03torchrunおよびDistributedDataParallelによるマルチGPU学習
  • 04population-based trainingとself-playに対応
  • 05学習済みポリシーのONNXエクスポート
  • 06YAMLによる学習設定とWeights & Biasesへのログ記録

ユースケース

  • Isaac LabやMJLabでの歩行・移動や器用な操作のポリシー学習
  • EnvPoolを使った高スループットなMuJoCoやAtariの実験
  • 学習済みRLポリシーをONNXにエクスポートしてデプロイ
  • 複数GPUにまたがるRL学習のスケール

クイックスタート

  1. 1

    READMEからGoogle ColabでMujocoのトレーニング例を開きます

使う前に知っておきたいこと

  • MJLabのトレーニングノートブックにはローカルGPUが必要です。Colab版はL4またはA100 GPUでの使用を推奨します。
  • 2.0.0リリースは未公開で、APIがgymnasiumのみに変更されており、Python 3.11以降が必要です。
  • レガシーのIsaac Gym環境は、rl_games 1.6.5までしかサポートされていません。

収録されている特集

強化学習のフレームワークと学習環境ロボティクス・身体性AIプロジェクト

トピック

#reinforcement-learning#pytorch#gpu-simulation#robotics#ppo#sac#onnx#deep-learning

よくある質問

rl_games とは？
数千の環境を並列実行するGPUベクトル化シミュレーター向けに構築された、PyTorch製の強化学習ライブラリ（PPO、SAC）。 rl_gamesは、PPOとSACをPyTorchで実装した強化学習フレームワークです。主な用途は、単一プロセスで数千の環境を同時に動かすGPUベクトル化シミュレーターでの学習です。Isaac Lab、MJLab、EnvPool、MyoSuite向けの学習パイプラインに加え、MuJoCoやAtariなどのGym形式の環境にも対応しています。
rl_games は無料で使えますか？ライセンスは？
rl_games は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
rl_games は今もメンテナンスされていますか？
活発にメンテナンス中。rl_games の最終コミットは 2026年11月6日 です。
rl_games は何に使えますか？
Isaac LabやMJLabでの歩行・移動や器用な操作のポリシー学習 EnvPoolを使った高スループットなMuJoCoやAtariの実験 学習済みRLポリシーをONNXにエクスポートしてデプロイ 複数GPUにまたがるRL学習のスケール
rl_games のインストール方法は？
READMEからGoogle ColabでMujocoのトレーニング例を開きます
rl_games はどこで入手できますか？
ソースコードとインストール手順は GitHub にあります：https://github.com/Denys88/rl_games

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト