Repolode
投稿する
RUC-NLPIR

RUC-NLPIR/FlashRSI

30種類のベンチマークでAIエージェントのハーネスに対する再帰的自己改善（RSI）手法を実行・比較できる、統合型Pythonフレームワーク。

GitHub で見る公式サイト
スター
341
フォーク
21
未解決の Issue
0
最終コミット
昨日

これは何？

FlashRSIは、AIエージェントの再帰的自己改善を研究するためのフレームワークです。12種類のRSIアルゴリズム、30種類のベンチマークスイート、4種類のエージェントハーネス（MiniAgent、Claude Code、Codex、Pi）を1つの実験インターフェースから利用できるため、新しい実行ランナーを書かずに手法を切り替えたり比較したりできます。実験はYAMLまたはflashrsi CLIで定義し、RSI手法、対象ハーネス、worker model、ベンチマークをそれぞれ独立して選択できます。

このフレームワークでは、ハーネスをタグ付きファイル（プロンプト、スキル、ツール、設定、ランタイムコード）の集合として表現し、変更できないSnapshotにまとめます。各実行では、候補のSnapshot、機密情報を除去した設定、対象とworkerの実行軌跡、メトリクス、最後に選択されたSnapshotを記録します。保存したSnapshotは、進化を再実行せずにevaluateコマンドで別のベンチマークに対して再評価できます。

共通のチェックアウト、実行、スコアリングのパイプライン上でRSIの結果を再現したい研究者や、新しい手法を開発したい研究者を対象としています。ドキュメントサイトに加え、アルゴリズム、ベンチマーク、ハーネスの追加ガイドも用意されています。

主な機能

  • 01OPRO、GEPA、EvoPrompt、ACE、Meta-Harnessなど、12種類のRSI手法を1つのインターフェースから実行できます。
  • 02QA、数学、コーディング、Webリサーチ、ドキュメント、ツール利用を網羅する30種類のベンチマークスイートに対応しています。
  • 03MiniAgent、Claude Code、Codex、Piを編集可能でバージョン管理されたSnapshotとして扱えます。
  • 04各実行について、候補、実行軌跡、メトリクス、選択されたSnapshotを記録します。
  • 05進化を再実行せずに、保存済みのSnapshotを別のベンチマークで評価できます。
  • 06YAMLファイルまたはドット区切りのオーバーライドを指定するCLIフラグで設定できます。

ユースケース

  • 共通パイプラインを使い、エージェントのベンチマークで公開済みのRSI結果を再現する。
  • 同じハーネスとベンチマークで、複数の自己改善アルゴリズムを比較する。
  • 進化させたエージェントハーネスが、近接領域または領域外のタスクにも適用できるかを検証する。
  • 共通の実験フレームワークに新しいRSI手法やベンチマークを追加する。

クイックスタート

  1. 1

    リポジトリをクローンする

    git clone https://github.com/RUC-NLPIR/FlashRSI.git
  2. 2

    ディレクトリに移動し、uvで仮想環境を作成する

    cd FlashRSI && uv venv --python 3.12 && source .venv/bin/activate
  3. 3

    すべてのベンチマーク連携機能を含めてフレームワークをインストールする

    uv sync --extra all
  4. 4

    APIキーを設定して、小規模なRSI実験を実行する

    flashrsi run --config examples/quickstart.yaml

使う前に知っておきたいこと

  • 実験の実行には、対象モデルとワーカーモデルのAPIキーが必要です。
  • 一部のベンチマークにはDockerが必要で、Harborタスクには追加インストールが必要です。
  • まだ初期段階のプロジェクトで、スター数は70件、Python 3.12が必須です。

収録されている特集

オープンソースの AI エージェント・フレームワークとアプリ

トピック

#ai-agents#self-improvement#llm#benchmark#prompt-optimization#research-framework#python#agent#recursive-self-improvement

よくある質問

FlashRSI とは？
30種類のベンチマークでAIエージェントのハーネスに対する再帰的自己改善（RSI）手法を実行・比較できる、統合型Pythonフレームワーク。 FlashRSIは、AIエージェントの再帰的自己改善を研究するためのフレームワークです。12種類のRSIアルゴリズム、30種類のベンチマークスイート、4種類のエージェントハーネス（MiniAgent、Claude Code、Codex、Pi）を1つの実験インターフェースから利用できるため、新しい実行ランナーを書かずに手法を切り替えたり比較したりできます。実験はYAMLまたはflashrsi CLIで定義し、RSI手法、対象ハーネス、worker model、ベンチマークをそれぞれ独立して選択できます。
FlashRSI は無料で使えますか？ライセンスは？
FlashRSI は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
FlashRSI は今もメンテナンスされていますか？
活発にメンテナンス中。FlashRSI の最終コミットは 2026年11月6日 です。
FlashRSI は何に使えますか？
共通パイプラインを使い、エージェントのベンチマークで公開済みのRSI結果を再現する。 同じハーネスとベンチマークで、複数の自己改善アルゴリズムを比較する。 進化させたエージェントハーネスが、近接領域または領域外のタスクにも適用できるかを検証する。 共通の実験フレームワークに新しいRSI手法やベンチマークを追加する。
FlashRSI のインストール方法は？
リポジトリをクローンする: git clone https://github.com/RUC-NLPIR/FlashRSI.git ディレクトリに移動し、uvで仮想環境を作成する: cd FlashRSI && uv venv --python 3.12 && source .venv/bin/activate すべてのベンチマーク連携機能を含めてフレームワークをインストールする: uv sync --extra all APIキーを設定して、小規模なRSI実験を実行する: flashrsi run --config examples/quickstart.yaml
FlashRSI はどこで入手できますか？
ソースコードとインストール手順は GitHub にあります：https://github.com/RUC-NLPIR/FlashRSI

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト