エージェントタスクを評価しながら繰り返し実行し、有用な知見を蓄積して、次回に活かせる実行トレースやプレイブックを残す自己改善型ハーネス。
simple-agent-lab/RSIHub
候補エージェントの各世代の系譜を記録する、評価器主導のエージェント自己改善向けPythonフレームワーク。
- スター
- 341
- フォーク
- 19
- 未解決の Issue
- 7
- 最終コミット
- 10 日前
これは何?
RSIHubは候補AIエージェントを固定の評価器で実行し、各世代で何がなぜ変更されたかを記録します。評価器には手を加えず、検証済みの改善だけを次の世代に引き継ぎます。各進化戦略はレシピとして定義され、親エージェントの選択、実行トレースの分析、宣言された変更可能範囲内での編集案の作成、候補を採用するかどうかの判断を行います。
すべての試行は、コンテナ実行、軌跡の記録、タスクごとの検証を提供するHarbor上で実行されます。候補はクリーンなスナップショットからスコアリングされ、スタンプ付きのアーカイブ記録とGitの世代タグから結果を再計算できます。変更可能範囲にはプロンプト、スキル、ハーネス、対象エージェントのコードを含められ、hill_climb、aevolve、ahe、gepa、hyperagentsなどのレシピが用意されています。
また、生成されたワークスペースを読み取り専用で調べ、世代の進捗、変更内容、スコア、試行結果を表示する実験ビューアー `evolve view` も提供します。現在も活発に開発されている研究プロトタイプです。
主な機能
- 01候補エージェントがスコアリングの基準を変更できないよう、評価器は固定されています。
- 02各レシピで、変更可能な対象パスとオペレーターパスを指定します。
- 03エージェントコードのクリーンなスナップショットから候補をスコアリングします。
- 04スタンプ付きのarchive.jsonlエントリーとGitの世代タグに系譜を記録します。
- 05コンテナ実行と軌跡の記録を備えたHarbor上で試行を実行します。
- 06世代と試行結果を調べるための読み取り専用実験ビューアー。
ユースケース
- 固定の評価スイートのもとで、エージェントのプロンプト、スキル、ハーネスコードを改善する。
- 同一の評価条件と変更範囲のもとで、エージェントの進化戦略を比較する。
- エージェントの各バージョンがどのように派生したかを、再現可能かつ監査可能な形で記録する。
クイックスタート
- 1
共有の Terminal-Bench 2.0 サブセットをセットアップする
./scripts/setup_terminal_bench.sh - 2
サポート対象のレシピのデモを実行する
./scripts/run_recipe_demo.sh - 3
クイックスタートガイドで前提条件と認証情報の設定を確認する
- 4
読み取り専用ビューアで生成された実験ワークスペースを閲覧する
evolve view /path/to/experiment
使う前に知っておきたいこと
- Python 3.12 以降が必要です。
- ベンチマークの実行には GPT-5.4 と Codex mutate operator を使用するため、これらの有料モデル API を利用できる必要があります。
収録されている特集
トピック
よくある質問
- RSIHub とは?
- 候補エージェントの各世代の系譜を記録する、評価器主導のエージェント自己改善向けPythonフレームワーク。 RSIHubは候補AIエージェントを固定の評価器で実行し、各世代で何がなぜ変更されたかを記録します。評価器には手を加えず、検証済みの改善だけを次の世代に引き継ぎます。各進化戦略はレシピとして定義され、親エージェントの選択、実行トレースの分析、宣言された変更可能範囲内での編集案の作成、候補を採用するかどうかの判断を行います。
- RSIHub は無料で使えますか?ライセンスは?
- RSIHub は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
- RSIHub は今もメンテナンスされていますか?
- 活発にメンテナンス中。RSIHub の最終コミットは 2026年10月27日 です。
- RSIHub は何に使えますか?
- 固定の評価スイートのもとで、エージェントのプロンプト、スキル、ハーネスコードを改善する。 同一の評価条件と変更範囲のもとで、エージェントの進化戦略を比較する。 エージェントの各バージョンがどのように派生したかを、再現可能かつ監査可能な形で記録する。
- RSIHub のインストール方法は?
- 共有の Terminal-Bench 2.0 サブセットをセットアップする: ./scripts/setup_terminal_bench.sh サポート対象のレシピのデモを実行する: ./scripts/run_recipe_demo.sh クイックスタートガイドで前提条件と認証情報の設定を確認する 読み取り専用ビューアで生成された実験ワークスペースを閲覧する: evolve view /path/to/experiment
- RSIHub はどこで入手できますか?
- ソースコードとインストール手順は GitHub にあります:https://github.com/simple-agent-lab/RSIHub
概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。
関連プロジェクト
Google製のコードファーストなPythonフレームワーク。Geminiに最適化されつつ、モデルを問わずAIエージェントの構築・評価・デプロイに使えます。
ツールを使い、テキストや音声でユーザーと対話するカスタマーサービスAIエージェントを評価するシミュレーションベンチマーク。
失敗した試行から学習し、コーディングエージェント向けの再利用可能なスキルやプロンプトを自動生成・改善するオープンソースフレームワーク。
RとPythonのブリッジ。稼働中のRStudioまたはPositronセッションをClaude Code、CodexなどのMCPベースのLLMエージェントに接続します。
学術論文、事前分析計画、研究助成申請書、分析コードをレビューし、論文から概要資料やスライドを作成するClaude Codeスキル集です。