harbor-framework/harbor

Что это?

Ключевые возможности

• 01Оценивает произвольных агентов, например Claude Code, OpenHands и Codex CLI.
• 02Параллельно запускает эксперименты во множестве контейнерных сред.
• 03Поддерживает запуск в локальном Docker и у облачных провайдеров, например Daytona и Modal.
• 04Позволяет создавать собственные бенчмарки и среды и делиться ими.
• 05Генерирует rollout-данные для оптимизации с помощью RL.
• 06Официальный harness для Terminal-Bench-2.0.

Сценарии использования

• Сравнение разных агентов для программирования и языковых моделей на задачах в терминале.
• Масштабный запуск SWE-Bench и других сторонних бенчмарков.
• Создание собственных сред для оценки внутреннего агента.
• Сбор rollout-данных для обучения агентов с помощью обучения с подкреплением.

Быстрый старт

1. 1

   Установите Harbor с помощью uv

   uv tool install harbor
2. 2

   Или установите Harbor с помощью pip

   pip install harbor
3. 3

   Укажите API-ключ провайдера моделей

   export ANTHROPIC_API_KEY=<YOUR-KEY>
4. 4

   Запустите Terminal-Bench-2.0 локально с помощью Docker

   harbor run --dataset terminal-bench@2.0 --agent claude-code --model anthropic/claude-opus-5-5 --n-concurrent 4

Что важно знать

• !Для запуска примера нужны API-ключ Anthropic и Docker.
• !Для облачных сред, таких как Daytona, потребуются отдельные API-ключ и аккаунт.

Темы

Частые вопросы

Что такое harbor?

Фреймворк от команды Terminal-Bench для оценки и оптимизации AI-агентов и языковых моделей в контейнерных средах. Harbor — это фреймворк для оценки и оптимизации агентов и языковых моделей. Он запускает таких агентов, как Claude Code, OpenHands и Codex CLI, на задачах из бенчмарков, причём каждая задача выполняется в контейнерной среде.

harbor можно использовать бесплатно? Какая у него лицензия?

harbor распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.

harbor всё ещё поддерживается?

Активно поддерживается. Последний коммит в harbor — 19 окт. 2026 г..

Для чего можно использовать harbor?

Сравнение разных агентов для программирования и языковых моделей на задачах в терминале. Масштабный запуск SWE-Bench и других сторонних бенчмарков. Создание собственных сред для оценки внутреннего агента. Сбор rollout-данных для обучения агентов с помощью обучения с подкреплением.

Как установить harbor?

Установите Harbor с помощью uv: uv tool install harbor Или установите Harbor с помощью pip: pip install harbor Укажите API-ключ провайдера моделей: export ANTHROPIC_API_KEY=<YOUR-KEY> Запустите Terminal-Bench-2.0 локально с помощью Docker: harbor run --dataset terminal-bench@2.0 --agent claude-code --model anthropic/claude-opus-5-5 --n-concurrent 4

Где скачать harbor?

Исходный код и инструкции по установке — на GitHub: https://github.com/harbor-framework/harbor