Repolode
Предложить
verl-project

verl-project/verl

verl — библиотека с открытым исходным кодом для обучения с подкреплением и постобучения больших языковых моделей, созданная на основе статьи HybridFlow.

Открыть на GitHubСайт
Звёзды
23,942
Форки
4,779
Открытые issues
1,366
Последний коммит
6 часов назад

Что это?

verl — библиотека для обучения больших языковых моделей с подкреплением. Изначально её выпустила команда ByteDance Seed, а теперь проект поддерживает сообщество. Библиотека предназначена для постобучения, в том числе с помощью PPO и GRPO, и интегрируется с существующими движками обучения и инференса, а не заменяет их.

Фреймворк отделяет вычисления от зависимостей данных с помощью модели программирования на основе гибридного контроллера. Она позволяет описывать потоки данных RL всего несколькими строками кода. Для обучения поддерживаются FSDP, FSDP2 и Megatron-LM, а для генерации при rollout — vLLM, SGLang и HF Transformers. Модели можно гибко распределять по разным наборам GPU, а 3D-HybridEngine перераспределяет шарды моделей-акторов между этапами обучения и генерации.

Помимо основных алгоритмов RL, в verl входят обучение с учителем, LoRA, многошаговые вызовы инструментов, мультимодальный RL для моделей «зрение — язык» и отслеживание экспериментов с помощью wandb, swanlab, mlflow и tensorboard. Библиотека работает на оборудовании NVIDIA, AMD ROCm и Ascend.

Ключевые возможности

  • 01Поддерживает PPO, GRPO, GSPO, REINFORCE++, RLOO, DAPO и другие алгоритмы RL.
  • 02Интегрируется с FSDP и Megatron-LM для обучения, а также с vLLM и SGLang для rollout.
  • 03Работает с моделями Hugging Face, такими как Qwen, Llama и Gemma.
  • 04Поддерживает LoRA, упаковку последовательностей и параллелизм экспертов для крупных моделей MoE.
  • 05Включает многошаговые вызовы инструментов и мультимодальный RL для моделей «зрение — язык».
  • 06Работает на оборудовании NVIDIA, AMD ROCm и Ascend.

Сценарии использования

  • Постобучение LLM для решения математических задач и рассуждений при написании кода с проверяемыми наградами.
  • Масштабное обучение с помощью GRPO или PPO на кластерах с несколькими GPU.
  • Обучение LLM-агентов, которые вызывают инструменты в несколько ходов.
  • Применение RL к моделям «зрение — язык» с мультимодальными входными данными.

Что важно знать

  • Для обучения больших моделей требуется оборудование с GPU, а основные функции рассчитаны на кластеры с несколькими GPU.
  • В предоставленном фрагменте README нет команды для установки или запуска, поэтому инструкции по настройке следует искать в полной документации.

Темы

#reinforcement-learning#llm#rlhf#post-training#ppo#grpo#distributed-training#vllm

Частые вопросы

Что такое verl?
verl — библиотека с открытым исходным кодом для обучения с подкреплением и постобучения больших языковых моделей, созданная на основе статьи HybridFlow. verl — библиотека для обучения больших языковых моделей с подкреплением. Изначально её выпустила команда ByteDance Seed, а теперь проект поддерживает сообщество. Библиотека предназначена для постобучения, в том числе с помощью PPO и GRPO, и интегрируется с существующими движками обучения и инференса, а не заменяет их.
verl можно использовать бесплатно? Какая у него лицензия?
verl распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
verl всё ещё поддерживается?
Активно поддерживается. Последний коммит в verl — 20 окт. 2026 г..
Для чего можно использовать verl?
Постобучение LLM для решения математических задач и рассуждений при написании кода с проверяемыми наградами. Масштабное обучение с помощью GRPO или PPO на кластерах с несколькими GPU. Обучение LLM-агентов, которые вызывают инструменты в несколько ходов. Применение RL к моделям «зрение — язык» с мультимодальными входными данными.
Где скачать verl?
Исходный код и инструкции по установке — на GitHub: https://github.com/verl-project/verl

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты

areal-project / AReaL

Масштабируемая система асинхронного обучения с подкреплением для тренировки LLM, способных рассуждать и действовать как агенты; обучение агентов с закрытым исходным кодом запускается заменой base_url.

ИИ и машинное обучение#reinforcement-learning#llm#agent
5,9 тыс.634PythonApache-2.0Обновлён 5 часов назад