Repolode
google-research

google-research/harness2

一个 Python 框架,在模型权重固定的前提下,递归优化智能体的 harness(提示词、工具与编排),以应对未见过的任务。

Star
9,158
Fork
802
未关闭 Issue
72
最近提交
6天前

这是什么?

Harness² 是一个用于优化智能体外围系统的框架。这个外围系统(即 harness)包括提示词、工具、记忆、技能和编排逻辑,它决定模型如何作为智能体工作。框架在保持模型权重不变的前提下优化 harness,目标是应对设计时未曾见过的任务。

框架包含两个层级的递归。任务级递归通过“提出–探测–组合”(Propose–Probe–Compose)步骤针对当前任务改进 harness:先提出修改,在同一任务上执行验证,再根据不同执行之间的行为差异组合出新的 harness,无需真实标注反馈。收割层级的递归则维护一个持久的改进 harness,保存已采纳的 harness 以及有证据支持的经验,用于指导后续优化。

项目支持 OpenCode 和 Codex 两种执行器,内置 JobBench、LAB 和 WorkBuddy-Bench 三个基准。它提供并行与顺序两种递归模式,一个无需模型凭证的本地演示,以及安装、运行、评判和生成报告的命令行工具。

核心功能

  • 01任务级递归通过“提出–探测–组合”步骤改进 harness,无需真实标注反馈。
  • 02收割层级递归在多个任务间保存已采纳的 harness 和经验教训。
  • 03并行与顺序两种递归模式,分别控制优化的广度与深度。
  • 04支持 OpenCode 与 Codex 两种执行器。
  • 05内置 JobBench、LAB 和 WorkBuddy-Bench 基准测试。
  • 06可编辑系统提示词、护栏、记忆、工具指导、子智能体、技能、脚本和插件八类组件。

适用场景

  • 研究人员复现 JobBench、LAB 或 WorkBuddy-Bench 上的 harness 优化实验。
  • 团队在固定模型下,针对专业任务基准比较不同智能体 harness 设计。
  • 开发者研究提示词、工具和编排如何影响智能体表现,而无需重新训练模型。

快速上手

  1. 1

    创建 Python 3.12 虚拟环境

    uv venv --python 3.12 .venv
  2. 2

    激活虚拟环境

    source .venv/bin/activate
  3. 3

    以可编辑模式安装包(含 render 额外依赖)

    uv pip install -e '.[render]'
  4. 4

    运行本地演示(无需模型凭据)

    harness2-demo --output runs/demo --k 2

使用前须知

  • 运行基于模型的基准测试需要配置 Vertex AI、Google Cloud CLI 认证,可能还需要 Docker、Pandoc 和 Poppler。
  • 基于模型的运行会产生 API 费用。
  • 执行器的网络访问不受限制,因此运行前可能需要配置网络限制以防止获取基准答案。

标签

常见问题

harness2 是什么?
一个 Python 框架,在模型权重固定的前提下,递归优化智能体的 harness(提示词、工具与编排),以应对未见过的任务。 Harness² 是一个用于优化智能体外围系统的框架。这个外围系统(即 harness)包括提示词、工具、记忆、技能和编排逻辑,它决定模型如何作为智能体工作。框架在保持模型权重不变的前提下优化 harness,目标是应对设计时未曾见过的任务。
harness2 可以免费使用吗?用的什么许可证?
harness2 以 Apache-2.0 许可证开源。用于商业产品前,请先确认许可证条款。
harness2 还在维护吗?
活跃维护中。harness2 最近一次提交是在 2026年10月14日。
harness2 适合用来做什么?
研究人员复现 JobBench、LAB 或 WorkBuddy-Bench 上的 harness 优化实验。 团队在固定模型下,针对专业任务基准比较不同智能体 harness 设计。 开发者研究提示词、工具和编排如何影响智能体表现,而无需重新训练模型。
harness2 怎么安装和运行?
创建 Python 3.12 虚拟环境: uv venv --python 3.12 .venv 激活虚拟环境: source .venv/bin/activate 以可编辑模式安装包(含 render 额外依赖): uv pip install -e '.[render]' 运行本地演示(无需模型凭据): harness2-demo --output runs/demo --k 2
在哪里获取 harness2?
源代码和安装说明在 GitHub 上:https://github.com/google-research/harness2

概要由 AI 根据项目 README 生成;GitHub 数据每日更新。

相关项目