Repolode
投稿する
verl-project

verl-project/verl

verlは、HybridFlow論文を基盤とする、大規模言語モデルの学習後処理向けオープンソース強化学習トレーニングライブラリです。

GitHub で見る公式サイト
スター
23,942
フォーク
4,779
未解決の Issue
1,366
最終コミット
昨日

これは何？

verlは、大規模言語モデル向けのRLトレーニングライブラリです。ByteDance Seedチームが最初に公開し、現在はコミュニティがメンテナンスしています。PPOやGRPOなどの学習後処理ワークフローを対象とし、既存のトレーニングエンジンや推論エンジンを置き換えるのではなく、それらと連携するように設計されています。

ハイブリッドコントローラー型のプログラミングモデルにより、計算とデータの依存関係を分離し、数行のコードでRLのデータフローを記述できます。トレーニングにはFSDP、FSDP2、Megatron-LM、ロールアウト生成にはvLLM、SGLang、HF Transformersを利用できます。モデルは異なるGPU群に柔軟に配置でき、3D-HybridEngineはトレーニングフェーズと生成フェーズの間でactorモデルを再シャーディングします。

コアとなるRLアルゴリズムに加え、教師ありファインチューニング、LoRA、複数ターンにわたるツール呼び出し、視覚言語モデル向けのマルチモーダルRLを備え、wandb、swanlab、mlflow、tensorboardによる実験追跡にも対応しています。NVIDIA、AMD ROCm、Ascendのハードウェアで動作します。

主な機能

  • 01PPO、GRPO、GSPO、REINFORCE++、RLOO、DAPOなどのRLアルゴリズムに対応。
  • 02トレーニングではFSDP、Megatron-LM、ロールアウトではvLLM、SGLangと連携。
  • 03Qwen、Llama、GemmaなどのHugging Faceモデルで動作。
  • 04大規模MoEモデル向けにLoRA、シーケンスパッキング、エキスパート並列処理に対応。
  • 05複数ターンにわたるツール呼び出しと、視覚言語モデル向けのマルチモーダルRLを搭載。
  • 06NVIDIA、AMD ROCm、Ascendのハードウェアで動作。

ユースケース

  • 検証可能な報酬を使って、数学やコーディングの推論を行うLLMを学習後処理する。
  • マルチGPUクラスター上でGRPOやPPOを大規模に実行する。
  • 複数ターンにわたってツールを呼び出すLLMエージェントを学習する。
  • マルチモーダル入力を使って、視覚言語モデルにRLを適用する。

使う前に知っておきたいこと

  • 大規模モデルのトレーニングにはGPUハードウェアが必要で、主な機能はマルチGPUクラスターを対象としています。
  • 提示されたREADMEの抜粋にはインストールまたは実行コマンドが含まれていないため、セットアップ手順はドキュメント全文を参照してください。

トピック

#reinforcement-learning#llm#rlhf#post-training#ppo#grpo#distributed-training#vllm

よくある質問

verl とは？
verlは、HybridFlow論文を基盤とする、大規模言語モデルの学習後処理向けオープンソース強化学習トレーニングライブラリです。 verlは、大規模言語モデル向けのRLトレーニングライブラリです。ByteDance Seedチームが最初に公開し、現在はコミュニティがメンテナンスしています。PPOやGRPOなどの学習後処理ワークフローを対象とし、既存のトレーニングエンジンや推論エンジンを置き換えるのではなく、それらと連携するように設計されています。
verl は無料で使えますか？ライセンスは？
verl は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
verl は今もメンテナンスされていますか？
活発にメンテナンス中。verl の最終コミットは 2026年10月20日 です。
verl は何に使えますか？
検証可能な報酬を使って、数学やコーディングの推論を行うLLMを学習後処理する。 マルチGPUクラスター上でGRPOやPPOを大規模に実行する。 複数ターンにわたってツールを呼び出すLLMエージェントを学習する。 マルチモーダル入力を使って、視覚言語モデルにRLを適用する。
verl はどこで入手できますか？
ソースコードとインストール手順は GitHub にあります：https://github.com/verl-project/verl

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト