harbor-framework/harbor

これは何？

主な機能

• 01Claude Code、OpenHands、Codex CLIなど、任意のエージェントを評価できます。
• 02多数のコンテナ化された環境で実験を並列実行できます。
• 03ローカルのDocker実行と、DaytonaやModalなどのクラウドプロバイダーに対応しています。
• 04独自のベンチマークや環境を作成して共有できます。
• 05強化学習による最適化向けのロールアウトを生成できます。
• 06Terminal-Bench-2.0の公式ハーネスです。

ユースケース

• ターミナルタスクで、さまざまなコーディングエージェントや言語モデルを比較する。
• SWE-Benchなどのサードパーティ製ベンチマークを大規模に実行する。
• 社内エージェント向けのカスタム評価環境を作成する。
• 強化学習によるエージェントの学習に使うロールアウトデータを収集する。

クイックスタート

1. 1

   uvでHarborをインストールする

   uv tool install harbor
2. 2

   またはpipでHarborをインストールする

   pip install harbor
3. 3

   モデルプロバイダーのAPIキーを設定する

   export ANTHROPIC_API_KEY=<YOUR-KEY>
4. 4

   Dockerを使ってTerminal-Bench-2.0をローカルで実行する

   harbor run --dataset terminal-bench@2.0 --agent claude-code --model anthropic/claude-opus-5-5 --n-concurrent 4

使う前に知っておきたいこと

• !この例を実行するには、Anthropic APIキーとDockerが必要です。
• !Daytonaなどのクラウド環境では、別途APIキーとアカウントが必要です。

トピック

よくある質問

harbor とは？

Terminal-Benchチームが開発した、コンテナ環境でAIエージェントや言語モデルを評価・最適化するためのフレームワーク。 Harborは、エージェントや言語モデルを評価・最適化するためのフレームワークです。Claude Code、OpenHands、Codex CLIなどのエージェントをベンチマークタスクで実行でき、各タスクはコンテナ環境内で実行されます。

harbor は無料で使えますか？ライセンスは？

harbor は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

harbor は今もメンテナンスされていますか？

活発にメンテナンス中。harbor の最終コミットは 2026年10月19日 です。

harbor は何に使えますか？

ターミナルタスクで、さまざまなコーディングエージェントや言語モデルを比較する。 SWE-Benchなどのサードパーティ製ベンチマークを大規模に実行する。 社内エージェント向けのカスタム評価環境を作成する。 強化学習によるエージェントの学習に使うロールアウトデータを収集する。

harbor のインストール方法は？

uvでHarborをインストールする: uv tool install harbor またはpipでHarborをインストールする: pip install harbor モデルプロバイダーのAPIキーを設定する: export ANTHROPIC_API_KEY=<YOUR-KEY> Dockerを使ってTerminal-Bench-2.0をローカルで実行する: harbor run --dataset terminal-bench@2.0 --agent claude-code --model anthropic/claude-opus-5-5 --n-concurrent 4

harbor はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/harbor-framework/harbor