verl — библиотека с открытым исходным кодом для обучения с подкреплением и постобучения больших языковых моделей, созданная на основе статьи HybridFlow.
23,9 тыс.4,8 тыс.PythonApache-2.0Обновлён вчера
OpenRLHF/OpenRLHF
Фреймворк на базе Ray и vLLM для обучения больших языковых и мультимодальных моделей с помощью RLHF и агентного RL.
- Звёзды
- 10,105
- Форки
- 1,049
- Открытые issues
- 402
- Последний коммит
- 16 дней назад
Что это?
OpenRLHF — фреймворк для обучения больших языковых моделей с подкреплением на основе обратной связи от людей (RLHF) и связанными с ним методами агентного RL. Он использует Ray для распределения моделей актёра, вознаграждения, эталонной модели и критика по GPU, а vLLM — для генерации примеров, на которую, как отмечают авторы проекта, приходится основная часть времени обучения RLHF. Обучение моделей построено на DeepSpeed ZeRO-3 и напрямую работает с чекпойнтами Hugging Face Transformers.
Во фреймворке реализованы PPO, REINFORCE++, REINFORCE++-baseline, GRPO, RLOO, динамическая фильтрация в стиле DAPO и несколько других оценщиков преимущества; нужный вариант выбирается флагами командной строки. Поддерживаются одношаговое обучение с пользовательскими Python-функциями вознаграждения или удалёнными эндпоинтами вознаграждения, а также обучение многошаговых агентов, где окружение задаётся методами reset и step. Также доступны дообучение с учителем, обучение модели вознаграждения и DPO, а ещё LoRA, MoE, RingAttention и обучение моделей «зрение — язык».
Обучение можно запускать в синхронном, асинхронном режиме или в режиме гибридного движка, в котором модели совместно используют GPU. Многонодовые задачи можно запускать на кластерах Ray или в SLURM.
Ключевые возможности
- 01Распределение моделей актёра, вознаграждения, эталонной модели и критика по отдельным GPU с помощью Ray.
- 02Генерация примеров на базе vLLM с тензорным и конвейерным параллелизмом.
- 03Поддержка PPO, REINFORCE++, GRPO, RLOO и динамической фильтрации в стиле DAPO.
- 04Пользовательские функции вознаграждения для одношагового обучения и окружения многошаговых агентов с интерфейсами reset и step.
- 05Дообучение с учителем, обучение модели вознаграждения и DPO в одной кодовой базе.
- 06RLHF для моделей «зрение — язык» с изображениями во входных запросах и обратной связью от окружения.
Сценарии использования
- Запуск обучения с подкреплением в стиле PPO или GRPO для LLM с 7B–70B+ параметрами на GPU-кластере.
- Дообучение модели для рассуждений в математике или программировании с помощью правил вознаграждения, например проверки ответа или выполнения тестов.
- Создание многошаговых агентов, обучающая среда которых возвращает обратную связь после каждого действия модели.
- Обучение модели «зрение — язык» с подкреплением на задачах, основанных на изображениях.
Что важно знать
- Зависит от громоздкого стека Ray, vLLM и DeepSpeed, что усложняет настройку.
- Предназначен для обучения больших моделей на нескольких GPU, поэтому требует значительных ресурсов GPU.
Темы
Частые вопросы
- Что такое OpenRLHF?
- Фреймворк на базе Ray и vLLM для обучения больших языковых и мультимодальных моделей с помощью RLHF и агентного RL. OpenRLHF — фреймворк для обучения больших языковых моделей с подкреплением на основе обратной связи от людей (RLHF) и связанными с ним методами агентного RL. Он использует Ray для распределения моделей актёра, вознаграждения, эталонной модели и критика по GPU, а vLLM — для генерации примеров, на которую, как отмечают авторы проекта, приходится основная часть времени обучения RLHF. Обучение моделей построено на DeepSpeed ZeRO-3 и напрямую работает с чекпойнтами Hugging Face Transformers.
- OpenRLHF можно использовать бесплатно? Какая у него лицензия?
- OpenRLHF распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
- OpenRLHF всё ещё поддерживается?
- Активно поддерживается. Последний коммит в OpenRLHF — 5 окт. 2026 г..
- Для чего можно использовать OpenRLHF?
- Запуск обучения с подкреплением в стиле PPO или GRPO для LLM с 7B–70B+ параметрами на GPU-кластере. Дообучение модели для рассуждений в математике или программировании с помощью правил вознаграждения, например проверки ответа или выполнения тестов. Создание многошаговых агентов, обучающая среда которых возвращает обратную связь после каждого действия модели. Обучение модели «зрение — язык» с подкреплением на задачах, основанных на изображениях.
- Где скачать OpenRLHF?
- Исходный код и инструкции по установке — на GitHub: https://github.com/OpenRLHF/OpenRLHF
Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.
Похожие проекты
Масштабируемая система асинхронного обучения с подкреплением для тренировки LLM, способных рассуждать и действовать как агенты; обучение агентов с закрытым исходным кодом запускается заменой base_url.
5,9 тыс.634PythonApache-2.0Обновлён вчера
Универсальный движок для обучения мультимодальных моделей: поддерживает VLM, diffusion- и LLM-модели, а также FSDP2, Muon и ядра Liger.
83238PythonБез лицензииОбновлён 3 дня назад
Библиотека Hugging Face для пост-тренинга языковых трансформеров: SFT, GRPO, DPO, KTO и обучение reward-моделей.
19,6 тыс.3,1 тыс.PythonApache-2.0Обновлён 3 часа назад
Python-фреймворк для обучения многошаговых LLM-агентов на собственном опыте с помощью GRPO; клиент-серверная архитектура позволяет встроить его в существующие приложения.
10,8 тыс.1 тыс.PythonApache-2.0Обновлён вчера
Мультимодальная модель с открытыми весами и 9 млрд параметров для визуального понимания, пространственных рассуждений, использования инструментов и исследований embodied AI, построенная на Qwen3.5 и C-RADIOv4-H.
3,1 тыс.540PythonApache-2.0Обновлён в прошлом месяце