LLMの推論モデルやエージェントモデルを学習する大規模な非同期強化学習システム。base_urlの切り替えにより、ブラックボックスエージェントもRLで学習できます。 AReaLは、推論モデルやエージェントアプリケーションを対象とする、LLM学習用の強化学習インフラです。ロールアウト生成とモデル学習が互いを待たずに進む、完全非同期のRL学習方式を採用しています。

AReaL は無料で使えますか？ライセンスは？

AReaL は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

AReaL は今もメンテナンスされていますか？

活発にメンテナンス中。AReaL の最終コミットは 2026年10月20日です。

AReaL は何に使えますか？

GSM8Kなどの数学ベンチマークを使った推論モデルの学習コードを書き直さずに、既存エージェントをRLで改善 tau2-benchやSWEタスクを使った、複数ターンのコーディングエージェントやカスタマーサービスエージェントの学習 RayまたはSlurm形式のGPUクラスターで大規模なRL実験を実行

AReaL のインストール方法は？

リポジトリをクローンする: git clone https://github.com/areal-project/AReaL uvをインストールする: pip install uv 学習用パッケージとSGLang（CUDA）をインストールする: uv sync --extra cuda 単一ノードでGSM8K GRPOの例を実行する: python3 examples/math/gsm8k_rl.py --config examples/math/gsm8k_grpo.yaml scheduler.type=local

AReaL はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/areal-project/AReaL

areal-project/AReaL

Q: AReaL は今もメンテナンスされていますか？

活発にメンテナンス中。AReaL の最終コミットは 2026年10月20日 です。

LLMの推論モデルやエージェントモデルを学習する大規模な非同期強化学習システム。base_urlの切り替えにより、ブラックボックスエージェントもRLで学習できます。

GitHub で見る公式サイト

スター: 5,855
フォーク: 634
未解決の Issue: 136
最終コミット: 7 時間前

これは何？

AReaLは、推論モデルやエージェントアプリケーションを対象とする、LLM学習用の強化学習インフラです。ロールアウト生成とモデル学習が互いを待たずに進む、完全非同期のRL学習方式を採用しています。

GRPO、GSPO、PPO、DAPO、REINFORCE++、RLOO、DPOなど、さまざまなRLアルゴリズムに対応しています。max_head_offpolicynessを0に設定すれば、同期モードも利用できます。学習バックエンドにはMegatron、PyTorch FSDP、PyTorch Archonを使用でき、推論はvLLMまたはSGLangで実行します。サンプルタスクには、GSM8Kの数学問題、複数ターンの数学問題、コーディングエージェント、tau2のカスタマーサービス、検索エージェント、視覚言語モデルが含まれます。

エージェント開発者向けに、AReaLはブラックボックスエージェントのオンラインRLに対応しています。既存エージェントのbase_urlとapi_keyをAReaLのRLサービスに向けるだけで、コードを変更せずに学習できます。セットアップにはuvとflash-attnのwheelを使い、単一ノードまたはRayクラスターで実験を実行できます。

主な機能

01スループットとスケーラビリティを高める完全非同期のRL学習
02base_urlを切り替えるだけでブラックボックスエージェントをオンラインRLで学習
03GRPO、GSPO、PPO、DAPO、DPOなどのアルゴリズムに対応
04学習バックエンドとしてMegatron、PyTorch FSDP、PyTorch Archonを利用可能
05LoRAに対応した推論バックエンドとしてvLLMとSGLangを利用可能

ユースケース

GSM8Kなどの数学ベンチマークを使った推論モデルの学習
コードを書き直さずに、既存エージェントをRLで改善
tau2-benchやSWEタスクを使った、複数ターンのコーディングエージェントやカスタマーサービスエージェントの学習
RayまたはSlurm形式のGPUクラスターで大規模なRL実験を実行

クイックスタート

1
リポジトリをクローンする
git clone https://github.com/areal-project/AReaL
2
uvをインストールする
pip install uv
3
学習用パッケージとSGLang（CUDA）をインストールする
uv sync --extra cuda
4
単一ノードでGSM8K GRPOの例を実行する
python3 examples/math/gsm8k_rl.py --config examples/math/gsm8k_grpo.yaml scheduler.type=local

使う前に知っておきたいこと

セットアップにはNVIDIA CUDA GPU環境と、flash-attnなどの多数の大容量依存パッケージが必要です。
学習と推論を完全に実行するには高性能なGPUハードウェアが必要です。また、READMEに記載されているflash-attnのwheelはLinux x86_64および特定のPython・CUDAバージョン向けです。

トピック

#reinforcement-learning #llm #agent #llm-reasoning #distributed-training #grpo #vllm #sglang #llm-agent #machine-learning-systems

よくある質問

AReaL とは？: LLMの推論モデルやエージェントモデルを学習する大規模な非同期強化学習システム。base_urlの切り替えにより、ブラックボックスエージェントもRLで学習できます。 AReaLは、推論モデルやエージェントアプリケーションを対象とする、LLM学習用の強化学習インフラです。ロールアウト生成とモデル学習が互いを待たずに進む、完全非同期のRL学習方式を採用しています。
AReaL は無料で使えますか？ライセンスは？: AReaL は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
AReaL は今もメンテナンスされていますか？: 活発にメンテナンス中。AReaL の最終コミットは 2026年10月20日です。
AReaL は何に使えますか？: GSM8Kなどの数学ベンチマークを使った推論モデルの学習コードを書き直さずに、既存エージェントをRLで改善 tau2-benchやSWEタスクを使った、複数ターンのコーディングエージェントやカスタマーサービスエージェントの学習 RayまたはSlurm形式のGPUクラスターで大規模なRL実験を実行
AReaL のインストール方法は？: リポジトリをクローンする: git clone https://github.com/areal-project/AReaL uvをインストールする: pip install uv 学習用パッケージとSGLang（CUDA）をインストールする: uv sync --extra cuda 単一ノードでGSM8K GRPOの例を実行する: python3 examples/math/gsm8k_rl.py --config examples/math/gsm8k_grpo.yaml scheduler.type=local
AReaL はどこで入手できますか？: ソースコードとインストール手順は GitHub にあります：https://github.com/areal-project/AReaL

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。