Repolode
Enviar
Denys88

Denys88/rl_games

Biblioteca de reinforcement learning em PyTorch (PPO e SAC), feita para simuladores vetorizados em GPU que executam milhares de ambientes em paralelo.

Ver no GitHub
Estrelas
1,411
Forks
223
Issues abertas
53
Último commit
ontem

O que é?

rl_games é um framework de reinforcement learning que implementa PPO e SAC em PyTorch. Seu foco principal é treinar em simuladores vetorizados em GPU, nos quais um único processo controla milhares de ambientes ao mesmo tempo. A biblioteca oferece pipelines de treinamento para Isaac Lab, MJLab, EnvPool e MyoSuite, além de ambientes no estilo Gym, como MuJoCo e Atari.

A biblioteca inclui recursos comuns em aprendizado robótico: um actor-critic assimétrico com um critic de valor central separado, políticas RNN, treinamento multi-GPU com DistributedDataParallel, treinamento baseado em população, self-play e exportação de políticas treinadas para ONNX. Kernels GAE baseados em Triton são usados quando o Triton está instalado, e os experimentos podem ser registrados no Weights and Biases.

O treinamento é configurado por arquivos YAML que especificam o algoritmo, a rede e as configurações do runner, e iniciado com um script runner ou com torchrun em execuções multi-GPU. O projeto lista vários artigos de robótica sim-to-real que usaram a biblioteca para treinar políticas.

Recursos principais

  • 01Implementações de PPO e SAC em PyTorch
  • 02Actor-critic assimétrico com um critic de valor central separado
  • 03Treinamento multi-GPU com torchrun e DistributedDataParallel
  • 04Suporte a treinamento baseado em população e self-play
  • 05Exportação de políticas treinadas para ONNX
  • 06Configurações de treinamento em YAML e registro de experimentos no Weights & Biases

Casos de uso

  • Treinar políticas de locomoção ou manipulação dexterosa no Isaac Lab ou MJLab
  • Executar experimentos de alto volume com MuJoCo ou Atari usando EnvPool
  • Implantar políticas de RL treinadas exportando-as para ONNX
  • Escalar o treinamento de RL em várias GPUs

Início rápido

  1. 1

    Abra o exemplo de treinamento do Mujoco no Google Colab (a partir do README)

Antes de usar

  • O notebook de treinamento do MJLab requer uma GPU local; recomenda-se usar a versão do Colab com GPUs L4 ou A100.
  • A versão 2.0.0 ainda não foi lançada e altera a API para usar apenas gymnasium, exigindo Python 3.11 ou superior.
  • O ambiente legado do Isaac Gym é compatível apenas até o rl_games 1.6.5.

Em coleções

Frameworks e ambientes de aprendizado por reforçoProjetos de robótica e IA corporificada

Tópicos

#reinforcement-learning#pytorch#gpu-simulation#robotics#ppo#sac#onnx#deep-learning

Perguntas frequentes

O que é rl_games?
Biblioteca de reinforcement learning em PyTorch (PPO e SAC), feita para simuladores vetorizados em GPU que executam milhares de ambientes em paralelo. rl_games é um framework de reinforcement learning que implementa PPO e SAC em PyTorch. Seu foco principal é treinar em simuladores vetorizados em GPU, nos quais um único processo controla milhares de ambientes ao mesmo tempo. A biblioteca oferece pipelines de treinamento para Isaac Lab, MJLab, EnvPool e MyoSuite, além de ambientes no estilo Gym, como MuJoCo e Atari.
rl_games é gratuito? Qual é a licença?
rl_games é open source sob a licença MIT. Confira os termos da licença antes de usá-lo em produtos comerciais.
rl_games ainda é mantido?
Manutenção ativa. O último commit de rl_games foi em 6 de nov. de 2026.
Para que posso usar rl_games?
Treinar políticas de locomoção ou manipulação dexterosa no Isaac Lab ou MJLab Executar experimentos de alto volume com MuJoCo ou Atari usando EnvPool Implantar políticas de RL treinadas exportando-as para ONNX Escalar o treinamento de RL em várias GPUs
Como instalar rl_games?
Abra o exemplo de treinamento do Mujoco no Google Colab (a partir do README)
Onde consigo rl_games?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/Denys88/rl_games

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados