Repolode
Предложить
areal-project

areal-project/AReaL

Масштабируемая система асинхронного обучения с подкреплением для тренировки LLM, способных рассуждать и действовать как агенты; обучение агентов с закрытым исходным кодом запускается заменой base_url.

Открыть на GitHubСайт
Звёзды
5,855
Форки
634
Открытые issues
136
Последний коммит
3 часа назад

Что это?

AReaL — инфраструктура обучения LLM с подкреплением, ориентированная на модели для рассуждений и приложения с агентами. В ней используется полностью асинхронная схема обучения с подкреплением: генерация rollout и обучение модели выполняются независимо, не ожидая друг друга на каждом шаге.

Проект поддерживает ряд алгоритмов обучения с подкреплением, включая GRPO, GSPO, PPO, DAPO, REINFORCE++, RLOO и DPO. Синхронный режим можно включить, задав max_head_offpolicyness равным 0. Для обучения доступны Megatron, PyTorch FSDP и PyTorch Archon, а для инференса — vLLM и SGLang. Примеры задач охватывают математические задачи GSM8K, многошаговые математические задачи, агентов для программирования, обслуживание клиентов в tau2, поисковых агентов и модели, работающие с изображениями и текстом.

Для разработчиков агентов AReaL предлагает онлайн-обучение с подкреплением агентов с закрытым исходным кодом: существующий агент можно обучать, указав в его настройках base_url и api_key сервиса обучения с подкреплением AReaL, без изменений кода. Для настройки нужны uv и wheel-пакет flash-attn; эксперименты можно запускать на одной машине или кластере Ray.

Ключевые возможности

  • 01Полностью асинхронное обучение с подкреплением для повышения пропускной способности и масштабируемости
  • 02Онлайн-обучение с подкреплением агентов с закрытым исходным кодом заменой base_url
  • 03Поддержка GRPO, GSPO, PPO, DAPO, DPO и других алгоритмов
  • 04Бэкенды для обучения: Megatron, PyTorch FSDP, PyTorch Archon
  • 05Бэкенды для инференса: vLLM и SGLang, с поддержкой LoRA

Сценарии использования

  • Обучение моделей для рассуждений на математических бенчмарках, например GSM8K
  • Улучшение существующего агента с помощью обучения с подкреплением без переписывания его кода
  • Обучение многошаговых агентов для программирования или обслуживания клиентов на tau2-bench или задачах SWE
  • Запуск масштабных экспериментов по обучению с подкреплением на GPU-кластерах Ray или Slurm

Быстрый старт

  1. 1

    Клонируйте репозиторий

    git clone https://github.com/areal-project/AReaL
  2. 2

    Установите uv

    pip install uv
  3. 3

    Установите пакеты для обучения и SGLang (CUDA)

    uv sync --extra cuda
  4. 4

    Запустите пример GSM8K GRPO на одном узле

    python3 examples/math/gsm8k_rl.py --config examples/math/gsm8k_grpo.yaml scheduler.type=local

Что важно знать

  • Для настройки требуется среда с GPU NVIDIA CUDA и большой набор ресурсоёмких зависимостей, таких как flash-attn.
  • Для полноценного обучения и инференса требуется мощное GPU-оборудование, а указанный в README wheel flash-attn предназначен только для Linux x86_64 и определённых версий Python и CUDA.

Темы

#reinforcement-learning#llm#agent#llm-reasoning#distributed-training#grpo#vllm#sglang#llm-agent#machine-learning-systems

Частые вопросы

Что такое AReaL?
Масштабируемая система асинхронного обучения с подкреплением для тренировки LLM, способных рассуждать и действовать как агенты; обучение агентов с закрытым исходным кодом запускается заменой base_url. AReaL — инфраструктура обучения LLM с подкреплением, ориентированная на модели для рассуждений и приложения с агентами. В ней используется полностью асинхронная схема обучения с подкреплением: генерация rollout и обучение модели выполняются независимо, не ожидая друг друга на каждом шаге.
AReaL можно использовать бесплатно? Какая у него лицензия?
AReaL распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
AReaL всё ещё поддерживается?
Активно поддерживается. Последний коммит в AReaL — 20 окт. 2026 г..
Для чего можно использовать AReaL?
Обучение моделей для рассуждений на математических бенчмарках, например GSM8K Улучшение существующего агента с помощью обучения с подкреплением без переписывания его кода Обучение многошаговых агентов для программирования или обслуживания клиентов на tau2-bench или задачах SWE Запуск масштабных экспериментов по обучению с подкреплением на GPU-кластерах Ray или Slurm
Как установить AReaL?
Клонируйте репозиторий: git clone https://github.com/areal-project/AReaL Установите uv: pip install uv Установите пакеты для обучения и SGLang (CUDA): uv sync --extra cuda Запустите пример GSM8K GRPO на одном узле: python3 examples/math/gsm8k_rl.py --config examples/math/gsm8k_grpo.yaml scheduler.type=local
Где скачать AReaL?
Исходный код и инструкции по установке — на GitHub: https://github.com/areal-project/AReaL

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты