Repolode
投稿する
suyoumo

suyoumo/ClawProBench

OpenClawランタイム内でLLMエージェントを評価する、実環境優先のベンチマークハーネス。決定論的な採点と反復試行による信頼性指標を備えています。

GitHub で見る公式サイト
スター
828
フォーク
54
未解決の Issue
0
最終コミット
2 か月前

これは何？

ClawProBenchは、シミュレーション出力ではなく、実際のOpenClaw実行環境でLLMエージェントを動かします。ベンチマークシナリオのカタログが付属しており、デフォルトのランキングスイート（core）、拡張機能スイート（intelligence）、native-onlyのサブセットなどのプロファイルに分類されています。スコア、コスト、レイテンシを含む構造化レポートを生成します。

シナリオごとのカスタムチェッカーを使って、決定論的に採点します。--trials Nで試行を繰り返すと、pass^3、pass@3、平均スコア、および安定した成功を最も重視する統合指標FinalScoreを算出できます。中断した実行はチェックポイントから再開でき、実行に失敗した項目は再キューに追加できます。

リポジトリには、inventory、dry-run検証、run、compareコマンドを備えたCLI（run.py）のほか、シナリオのYAMLファイル、シード済みデータセット、公開リーダーボードサイトが含まれています。

主な機能

  • 01ローカルのOpenClaw実環境でエージェントのタスクを実行
  • 02シナリオごとのカスタムチェッカーによる決定論的な採点
  • 03pass^3、pass@3、平均スコアなどの反復試行指標
  • 0426シナリオのcoreスイートから102シナリオのフルスイートまでのベンチマークプロファイル
  • 05チェックポイントからの再開と、実行失敗項目の再キュー
  • 06compareコマンドによるモデル間のレポート比較

ユースケース

  • OpenClaw内で実行するエージェントタスクでLLMモデルをランキングする
  • 同じタスクを複数回実行し、エージェントが安定して完了できるかを測定する
  • 共通の再現可能なタスクセットで、モデルのバージョンやプロバイダーを比較する
  • OpenClawベースのワークフロー向けに、カスタムシナリオや採点器を追加する

クイックスタート

  1. 1

    uvをインストールし、Python 3.11の仮想環境を作成する

    pip install uv
  2. 2

    仮想環境を作成して、requirementsをインストールする

    uv venv --python 3.11
  3. 3

    ベンチマークカタログを確認し、シナリオセットを検証する

    python3 run.py inventory
  4. 4

    デフォルトのランキングベンチマークで1回の試行によるスモークテストを実行する（ローカルのOpenClawランタイムとモデルが必要）

    python3 run.py run --model '<MODEL>' --execution-mode live --benchmark-profile core --trials 1 --cleanup-agents

使う前に知っておきたいこと

  • ライブ実行には、正常に動作するローカルのOpenClaw CLIに加え、モデル認証と設定が必要です。
  • ベンチマークをすべて実行するにはモデルへのアクセスが必要です。各試行でライブタスクを実行するため、費用がかさむ場合があります。

トピック

#agent#benchmark#evaluation#llm#openclaw#harness#leaderboard

よくある質問

ClawProBench とは？
OpenClawランタイム内でLLMエージェントを評価する、実環境優先のベンチマークハーネス。決定論的な採点と反復試行による信頼性指標を備えています。 ClawProBenchは、シミュレーション出力ではなく、実際のOpenClaw実行環境でLLMエージェントを動かします。ベンチマークシナリオのカタログが付属しており、デフォルトのランキングスイート（core）、拡張機能スイート（intelligence）、native-onlyのサブセットなどのプロファイルに分類されています。スコア、コスト、レイテンシを含む構造化レポートを生成します。
ClawProBench は無料で使えますか？ライセンスは？
ClawProBench は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
ClawProBench は今もメンテナンスされていますか？
半年以内に更新あり。ClawProBench の最終コミットは 2026年8月25日 です。
ClawProBench は何に使えますか？
OpenClaw内で実行するエージェントタスクでLLMモデルをランキングする 同じタスクを複数回実行し、エージェントが安定して完了できるかを測定する 共通の再現可能なタスクセットで、モデルのバージョンやプロバイダーを比較する OpenClawベースのワークフロー向けに、カスタムシナリオや採点器を追加する
ClawProBench のインストール方法は？
uvをインストールし、Python 3.11の仮想環境を作成する: pip install uv 仮想環境を作成して、requirementsをインストールする: uv venv --python 3.11 ベンチマークカタログを確認し、シナリオセットを検証する: python3 run.py inventory デフォルトのランキングベンチマークで1回の試行によるスモークテストを実行する（ローカルのOpenClawランタイムとモデルが必要）: python3 run.py run --model '<MODEL>' --execution-mode live --benchmark-profile core --trials 1 --cleanup-agents
ClawProBench はどこで入手できますか？
ソースコードとインストール手順は GitHub にあります：https://github.com/suyoumo/ClawProBench

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト