Repolode
harbor-framework

harbor-framework/harbor

Terminal-Bench 团队推出的框架,用于在容器环境中评估和优化智能体与语言模型。

Star
6,257
Fork
2,032
未关闭 Issue
1,094
最近提交
4小时前

这是什么?

Harbor 是一个用于评估和优化智能体与语言模型的框架。它可以让 Claude Code、OpenHands、Codex CLI 等智能体在容器环境中运行基准测试任务。

除了运行现有基准,用户还可以构建并分享自己的基准测试与运行环境。实验可以在大量环境中并行进行,既可以用 Docker 在本地运行,也可以通过参数切换到 Daytona、Modal 等云端沙箱服务。它是 Terminal-Bench-2.0 的官方评测工具,也支持运行 SWE-Bench 等第三方数据集。

此外,Harbor 还能为强化学习优化生成 rollout 数据。项目通过 uv 或 pip 安装为命令行工具。

核心功能

  • 01可评测 Claude Code、OpenHands、Codex CLI 等任意智能体。
  • 02支持在大量容器化环境中并行运行实验。
  • 03支持本地 Docker 运行,也支持 Daytona、Modal 等云端服务。
  • 04允许用户构建并分享自定义基准与环境。
  • 05可为强化学习优化生成 rollout 数据。
  • 06是 Terminal-Bench-2.0 的官方评测工具。

适用场景

  • 在终端任务上对比不同的编码智能体与语言模型。
  • 大规模运行 SWE-Bench 等第三方基准测试。
  • 为内部智能体创建自定义评测环境。
  • 收集 rollout 数据,用强化学习训练智能体。

快速上手

  1. 1

    使用 uv 安装 Harbor

    uv tool install harbor
  2. 2

    或使用 pip 安装 Harbor

    pip install harbor
  3. 3

    设置模型提供商的 API 密钥

    export ANTHROPIC_API_KEY=<YOUR-KEY>
  4. 4

    使用 Docker 在本地运行 Terminal-Bench-2.0

    harbor run --dataset terminal-bench@2.0 --agent claude-code --model anthropic/claude-opus-5-5 --n-concurrent 4

使用前须知

  • 运行示例需要 Anthropic API 密钥和 Docker。
  • Daytona 等云端环境需要单独的 API 密钥和账户。

标签

常见问题

harbor 是什么?
Terminal-Bench 团队推出的框架,用于在容器环境中评估和优化智能体与语言模型。 Harbor 是一个用于评估和优化智能体与语言模型的框架。它可以让 Claude Code、OpenHands、Codex CLI 等智能体在容器环境中运行基准测试任务。
harbor 可以免费使用吗?用的什么许可证?
harbor 以 Apache-2.0 许可证开源。用于商业产品前,请先确认许可证条款。
harbor 还在维护吗?
活跃维护中。harbor 最近一次提交是在 2026年10月19日。
harbor 适合用来做什么?
在终端任务上对比不同的编码智能体与语言模型。 大规模运行 SWE-Bench 等第三方基准测试。 为内部智能体创建自定义评测环境。 收集 rollout 数据,用强化学习训练智能体。
harbor 怎么安装和运行?
使用 uv 安装 Harbor: uv tool install harbor 或使用 pip 安装 Harbor: pip install harbor 设置模型提供商的 API 密钥: export ANTHROPIC_API_KEY=<YOUR-KEY> 使用 Docker 在本地运行 Terminal-Bench-2.0: harbor run --dataset terminal-bench@2.0 --agent claude-code --model anthropic/claude-opus-5-5 --n-concurrent 4
在哪里获取 harbor?
源代码和安装说明在 GitHub 上:https://github.com/harbor-framework/harbor

概要由 AI 根据项目 README 生成;GitHub 数据每日更新。

相关项目