Repolode
Предложить
Denys88

Denys88/rl_games

Библиотека для обучения с подкреплением на PyTorch (PPO и SAC), рассчитанная на симуляторы с векторизацией на GPU и тысячами параллельных сред.

Открыть на GitHub
Звёзды
1,410
Форки
223
Открытые issues
53
Последний коммит
23 часа назад

Что это?

rl_games — фреймворк для обучения с подкреплением с реализациями PPO и SAC на PyTorch. Основной упор сделан на обучение в симуляторах с векторизацией на GPU, где один процесс одновременно управляет тысячами сред. Библиотека предоставляет пайплайны обучения для Isaac Lab, MJLab, EnvPool и MyoSuite, а также для сред в стиле Gym, таких как MuJoCo и Atari.

Библиотека включает функции, часто необходимые для обучения роботов: асимметричную архитектуру actor-critic с отдельным центральным критиком ценности, политики на базе RNN, обучение на нескольких GPU с DistributedDataParallel, обучение с подбором параметров на популяции, self-play и экспорт обученных политик в ONNX. При установленном Triton используются GAE-ядра на его основе, а эксперименты можно журналировать в Weights and Biases.

Обучение настраивается через YAML-файлы, в которых задаются алгоритм, сеть и параметры runner. Запуск выполняется с помощью скрипта runner или torchrun для обучения на нескольких GPU. В проекте приведены несколько статей по робототехнике с sim-to-real, в которых библиотека использовалась для обучения политик.

Ключевые возможности

  • 01Реализации PPO и SAC на PyTorch
  • 02Асимметричная архитектура actor-critic с отдельным центральным критиком ценности
  • 03Обучение на нескольких GPU с помощью torchrun и DistributedDataParallel
  • 04Поддержка обучения с подбором параметров на популяции и self-play
  • 05Экспорт обученных политик в ONNX
  • 06Конфигурации обучения в YAML и журналирование в Weights & Biases

Сценарии использования

  • Обучение политик передвижения или ловких манипуляций в Isaac Lab или MJLab
  • Высокопроизводительные эксперименты с MuJoCo или Atari через EnvPool
  • Развёртывание обученных политик RL после экспорта в ONNX
  • Масштабирование обучения с подкреплением на несколько GPU

Быстрый старт

  1. 1

    Откройте пример обучения Mujoco в Google Colab (из README)

Что важно знать

  • Для обучающего блокнота MJLab требуется локальный GPU; для версии Colab рекомендуется GPU L4 или A100.
  • Релиз 2.0.0 ещё не выпущен и меняет API, оставляя только gymnasium, поэтому требуется Python 3.11 или новее.
  • Поддержка устаревшей среды Isaac Gym ограничена версией rl_games 1.6.5.

В подборках

Фреймворки и среды для обучения с подкреплениемПроекты робототехники и воплощённого ИИ

Темы

#reinforcement-learning#pytorch#gpu-simulation#robotics#ppo#sac#onnx#deep-learning

Частые вопросы

Что такое rl_games?
Библиотека для обучения с подкреплением на PyTorch (PPO и SAC), рассчитанная на симуляторы с векторизацией на GPU и тысячами параллельных сред. rl_games — фреймворк для обучения с подкреплением с реализациями PPO и SAC на PyTorch. Основной упор сделан на обучение в симуляторах с векторизацией на GPU, где один процесс одновременно управляет тысячами сред. Библиотека предоставляет пайплайны обучения для Isaac Lab, MJLab, EnvPool и MyoSuite, а также для сред в стиле Gym, таких как MuJoCo и Atari.
rl_games можно использовать бесплатно? Какая у него лицензия?
rl_games распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.
rl_games всё ещё поддерживается?
Активно поддерживается. Последний коммит в rl_games — 6 нояб. 2026 г..
Для чего можно использовать rl_games?
Обучение политик передвижения или ловких манипуляций в Isaac Lab или MJLab Высокопроизводительные эксперименты с MuJoCo или Atari через EnvPool Развёртывание обученных политик RL после экспорта в ONNX Масштабирование обучения с подкреплением на несколько GPU
Как установить rl_games?
Откройте пример обучения Mujoco в Google Colab (из README)
Где скачать rl_games?
Исходный код и инструкции по установке — на GitHub: https://github.com/Denys88/rl_games

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты

Calix-L / DanKS

Опенсорсный агент с обучением с подкреплением для соревновательной игры в Гуандан — карточной игры для четырёх игроков, где играют командами по двое; есть веб-стол.

ИИ и машинное обучение#reinforcement-learning#game-ai#pytorch
832+25 за неделю35PythonApache-2.0Активно поддерживаетсяОбновлён 7 дней назад

pollen-robotics / microduck

ПО с открытым исходным кодом на Rust для управления маленьким двуногим роботом-уткой: движение, геймпад, обновления и видеопоток с камеры.

Другое#robotics#rust#reinforcement-learning
13,5 тыс.+365 за неделю1,7 тыс.RustApache-2.0Активно поддерживаетсяОбновлён 23 часа назад

huggingface / lerobot

Библиотека PyTorch с моделями, датасетами и инструментами для робототехники в реальных условиях: управление оборудованием, сбор данных, обучение и оценка политик.

ИИ и машинное обучение#robotics#pytorch#imitation-learning
28,7 тыс.+74 за неделю6 тыс.PythonApache-2.0Обновлён вчера

ultralytics / yolov5

Ultralytics YOLOv5 — библиотека компьютерного зрения на базе PyTorch для детекции объектов, сегментации экземпляров и классификации изображений, с обучением и экспортом моделей.

ИИ и машинное обучение#computer-vision#object-detection#pytorch
58,3 тыс.+10 за неделю17,4 тыс.PythonAGPL-3.0Активно поддерживаетсяОбновлён 3 дня назад