suyoumo/ClawProBench

这是什么？

核心功能

• 01在本地真实的 OpenClaw 运行时中执行 Agent 任务
• 02通过场景专用检查器实现确定性评分
• 03支持 pass^3、pass@3、平均分等多次试验指标
• 04提供从 26 个场景的 core 到 102 个场景的 full 等多档基准
• 05支持检查点续跑，并可重新排队执行失败的任务
• 06通过 compare 命令横向对比不同模型的报告

适用场景

• 在 OpenClaw 中对不同 LLM 进行 Agent 任务排名
• 衡量同一任务多次运行时 Agent 的稳定成功率
• 在统一、可复现的任务集上比较模型版本或服务商
• 为基于 OpenClaw 的工作流添加自定义场景与评分器

快速上手

1. 1

   安装 uv 并创建 Python 3.11 虚拟环境

   pip install uv
2. 2

   创建虚拟环境并安装依赖

   uv venv --python 3.11
3. 3

   查看基准目录并验证场景集

   python3 run.py inventory
4. 4

   在默认排名基准上运行单次试跑（需要本地 OpenClaw 运行时和模型）

   python3 run.py run --model '<MODEL>' --execution-mode live --benchmark-profile core --trials 1 --cleanup-agents

使用前须知

• !实时运行需要可用的本地 OpenClaw 命令行工具，以及模型的认证和配置。
• !完整基准测试需要模型访问权限，且每次试跑都执行实时任务，成本可能较高。

标签

常见问题

ClawProBench 是什么？

面向 OpenClaw 运行时的 LLM Agent 实测基准工具，支持确定性评分与多次试验的稳定性评估。 ClawProBench 让 LLM Agent 在真实的 OpenClaw 运行环境中执行任务，而不是依赖模拟输出。它内置一批基准场景，并按 core、intelligence、coverage、native、full 等档位组织，产出包含分数、成本和延迟的结构化报告。

ClawProBench 可以免费使用吗？用的什么许可证？

ClawProBench 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。

ClawProBench 还在维护吗？

半年内有更新。ClawProBench 最近一次提交是在 2026年8月25日。

ClawProBench 适合用来做什么？

在 OpenClaw 中对不同 LLM 进行 Agent 任务排名 衡量同一任务多次运行时 Agent 的稳定成功率 在统一、可复现的任务集上比较模型版本或服务商 为基于 OpenClaw 的工作流添加自定义场景与评分器

ClawProBench 怎么安装和运行？

安装 uv 并创建 Python 3.11 虚拟环境: pip install uv 创建虚拟环境并安装依赖: uv venv --python 3.11 查看基准目录并验证场景集: python3 run.py inventory 在默认排名基准上运行单次试跑（需要本地 OpenClaw 运行时和模型）: python3 run.py run --model '<MODEL>' --execution-mode live --benchmark-profile core --trials 1 --cleanup-agents

在哪里获取 ClawProBench？

源代码和安装说明在 GitHub 上：https://github.com/suyoumo/ClawProBench