Repolode
Предложить
suyoumo

suyoumo/ClawProBench

Бенчмарк для оценки LLM-агентов непосредственно в среде выполнения OpenClaw с детерминированной проверкой результатов и метриками надежности по повторным запускам.

Открыть на GitHubСайт
Звёзды
828
Форки
54
Открытые issues
0
Последний коммит
2 месяца назад

Что это?

ClawProBench запускает LLM-агентов в реальной среде выполнения OpenClaw, а не на симулированных результатах. В комплект входит каталог сценариев бенчмарка, сгруппированных по профилям: основной набор для ранжирования (core), расширенный набор для оценки возможностей (intelligence) и набор только для native-сценариев. Утилита формирует структурированные отчеты с оценками, стоимостью и временем выполнения.

Проверка результатов детерминирована и выполняется с помощью специальных чекеров для каждого сценария. Повторные запуски через --trials N позволяют получить метрики pass^3, pass@3, среднюю оценку и сводный показатель FinalScore, в котором наибольший вес имеет стабильный успех. Прерванные запуски можно продолжить с контрольных точек, а сбои выполнения — поставить в очередь повторно.

В репозитории есть CLI (run.py) с командами inventory, dry-run validation, run и compare, а также YAML-файлы сценариев, датасеты с фиксированными начальными данными и публичный сайт лидерборда.

Ключевые возможности

  • 01Запускает задачи агента в работающей локальной среде OpenClaw
  • 02Детерминированно проверяет результаты с помощью специальных чекеров для каждого сценария
  • 03Рассчитывает метрики повторных запусков, включая pass^3, pass@3 и среднюю оценку
  • 04Предлагает профили бенчмарка от основного набора из 26 сценариев до полного набора из 102 сценариев
  • 05Поддерживает продолжение с контрольных точек и повторную постановку в очередь сбоев выполнения
  • 06Сравнивает отчеты по моделям с помощью команды compare

Сценарии использования

  • Ранжирование LLM-моделей по задачам агентов, выполняемым в OpenClaw
  • Оценка того, насколько надежно агент выполняет одну и ту же задачу при повторных запусках
  • Сравнение версий моделей или провайдеров на общем воспроизводимом наборе задач
  • Добавление пользовательских сценариев и проверяющих модулей для рабочих процессов на базе OpenClaw

Быстрый старт

  1. 1

    Установите uv и создайте виртуальное окружение Python 3.11

    pip install uv
  2. 2

    Создайте виртуальное окружение и установите зависимости

    uv venv --python 3.11
  3. 3

    Просмотрите каталог бенчмарков и проверьте набор сценариев

    python3 run.py inventory
  4. 4

    Запустите пробный тест с одной попыткой для стандартного бенчмарка ранжирования (требуются локальная среда выполнения OpenClaw и модель)

    python3 run.py run --model '<MODEL>' --execution-mode live --benchmark-profile core --trials 1 --cleanup-agents

Что важно знать

  • Для запусков в реальном времени необходимы работающий локальный OpenClaw CLI, а также аутентификация и конфигурация модели.
  • Для полного запуска бенчмарков нужен доступ к модели. Это может обойтись дорого, поскольку в каждой попытке выполняются задачи в реальном времени.

Темы

#agent#benchmark#evaluation#llm#openclaw#harness#leaderboard

Частые вопросы

Что такое ClawProBench?
Бенчмарк для оценки LLM-агентов непосредственно в среде выполнения OpenClaw с детерминированной проверкой результатов и метриками надежности по повторным запускам. ClawProBench запускает LLM-агентов в реальной среде выполнения OpenClaw, а не на симулированных результатах. В комплект входит каталог сценариев бенчмарка, сгруппированных по профилям: основной набор для ранжирования (core), расширенный набор для оценки возможностей (intelligence) и набор только для native-сценариев. Утилита формирует структурированные отчеты с оценками, стоимостью и временем выполнения.
ClawProBench можно использовать бесплатно? Какая у него лицензия?
ClawProBench распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
ClawProBench всё ещё поддерживается?
Обновлялся за последние 6 месяцев. Последний коммит в ClawProBench — 25 авг. 2026 г..
Для чего можно использовать ClawProBench?
Ранжирование LLM-моделей по задачам агентов, выполняемым в OpenClaw Оценка того, насколько надежно агент выполняет одну и ту же задачу при повторных запусках Сравнение версий моделей или провайдеров на общем воспроизводимом наборе задач Добавление пользовательских сценариев и проверяющих модулей для рабочих процессов на базе OpenClaw
Как установить ClawProBench?
Установите uv и создайте виртуальное окружение Python 3.11: pip install uv Создайте виртуальное окружение и установите зависимости: uv venv --python 3.11 Просмотрите каталог бенчмарков и проверьте набор сценариев: python3 run.py inventory Запустите пробный тест с одной попыткой для стандартного бенчмарка ранжирования (требуются локальная среда выполнения OpenClaw и модель): python3 run.py run --model '<MODEL>' --execution-mode live --benchmark-profile core --trials 1 --cleanup-agents
Где скачать ClawProBench?
Исходный код и инструкции по установке — на GitHub: https://github.com/suyoumo/ClawProBench

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты

open-compass / opencompass

Платформа с открытым исходным кодом для комплексной оценки больших языковых моделей на 100+ наборах данных с использованием множества провайдеров моделей и бэкендов инференса.

ИИ и машинное обучение#llm-evaluation#benchmark#large-language-model
7,5 тыс.889PythonApache-2.0Обновлён вчера