Repolode
投稿する
OpenPipe

OpenPipe/ART

既存アプリに組み込めるクライアント・サーバー構成で、GRPOを使い、LLMエージェントを自身の経験から学習させるPython製RLフレームワーク。

GitHub で見る公式サイト
スター
10,813
フォーク
1,008
未解決の Issue
171
最終コミット
9 時間前

これは何？

ART（Agent Reinforcement Trainer）は、LLMエージェント自身の経験を通じて性能を向上させるオープンソースの強化学習フレームワークです。既存のエージェントワークフローをARTクライアントでラップすると、メッセージの軌跡を収集し、各ロールアウトに報酬を割り当てたうえで、GRPOによってモデルを学習させます。

システムはクライアントとサーバーに分かれています。クライアントはコードベース内で動作し、OpenAI互換のインターフェースを提供します。サーバーはGPUを搭載した任意のマシンで動作し、vLLMによる推論とLoRA更新による学習を処理して、新しいチェックポイントを学習ループに戻します。クライアントはノートPCで動かし、サーバーはローカルまたはリモートのGPU環境で実行できます。

メール検索、2048、三目並べ、Codenamesなどのタスクを扱うサンプルノートブックが用意されており、報酬を自動生成するRULERも利用できます。QwenやLlamaシリーズを含む、vLLMおよびHugging Face transformers互換の因果言語モデルに対応しています。また、Weights & Biasesを通じたサーバーレスの学習バックエンドも利用できます。

主な機能

  • 01独自のワークフローから収集した軌跡を使い、GRPOで複数ステップのエージェントを学習。
  • 02OpenAI互換のクライアントインターフェースを備えたクライアント・サーバー構成。
  • 03vLLMで推論を実行し、LoRAチェックポイントを通じてモデルを更新。
  • 04RULERによる報酬の自動生成に対応。
  • 05ゲーム、メール検索、SFT蒸留のサンプルノートブックを収録。
  • 06可観測性のため、LangGraph、Langfuse、Weights & Biasesと連携。

ユースケース

  • コードを書き換えずに、既存のLLMエージェントのツール利用の信頼性を高める。
  • Qwenなどの小規模なオープンモデルを、メール検索のような特定の複数ステップタスク向けに学習させる。
  • ノートPC上のクライアントからRL実験を実行し、リモートGPUサーバーで学習する。
  • MCPサーバーのツールを呼び出すエージェントをファインチューニングする。

クイックスタート

  1. 1

    PyPIからパッケージをインストールします

    pip install openpipe-art

使う前に知っておきたいこと

  • トレーニングにはGPUが必要です。ローカル、ARTサーバー、またはW&Bのサーバーレスサービスのいずれかで利用できます。
  • 対応モデルはvLLM/Hugging Faceの因果言語モデルに限られます。現時点ではGemma 3に対応していません。
  • プロジェクトは現在も活発に開発中とされているため、APIが変更される可能性があります。

トピック

#agent#reinforcement-learning#grpo#llm#lora#vllm#python#agentic-ai#llms#qwen

よくある質問

ART とは？
既存アプリに組み込めるクライアント・サーバー構成で、GRPOを使い、LLMエージェントを自身の経験から学習させるPython製RLフレームワーク。 ART（Agent Reinforcement Trainer）は、LLMエージェント自身の経験を通じて性能を向上させるオープンソースの強化学習フレームワークです。既存のエージェントワークフローをARTクライアントでラップすると、メッセージの軌跡を収集し、各ロールアウトに報酬を割り当てたうえで、GRPOによってモデルを学習させます。
ART は無料で使えますか？ライセンスは？
ART は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
ART は今もメンテナンスされていますか？
活発にメンテナンス中。ART の最終コミットは 2026年10月20日 です。
ART は何に使えますか？
コードを書き換えずに、既存のLLMエージェントのツール利用の信頼性を高める。 Qwenなどの小規模なオープンモデルを、メール検索のような特定の複数ステップタスク向けに学習させる。 ノートPC上のクライアントからRL実験を実行し、リモートGPUサーバーで学習する。 MCPサーバーのツールを呼び出すエージェントをファインチューニングする。
ART のインストール方法は？
PyPIからパッケージをインストールします: pip install openpipe-art
ART はどこで入手できますか？
ソースコードとインストール手順は GitHub にあります：https://github.com/OpenPipe/ART

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト