Repolode
google-research

google-research/harness2

Python-фреймворк для рекурсивной оптимизации harness: он улучшает промпты, инструменты и оркестрацию вокруг неизменяемого LLM-агента для новых задач.

Звёзды
9,158
Форки
802
Открытые issues
72
Последний коммит
6 дней назад

Что это?

Harness² — это фреймворк для улучшения системы вокруг языковой модели, которая выступает в роли агента. Эта система называется harness и включает промпты, инструменты, память, навыки и оркестрацию. Фреймворк не меняет веса модели, а оптимизирует harness, ориентируясь на задачи, с которыми агент не сталкивался при его разработке.

Оптимизация выполняется на двух уровнях. Рекурсия на уровне задачи улучшает harness для текущей задачи с помощью этапа Propose–Probe–Compose: предлагает изменения, проверяет их на той же задаче и собирает новый harness на основе различий в поведении при выполнении, не используя обратную связь с эталонными ответами. Рекурсия на уровне harness поддерживает постоянный harness для улучшений, в котором хранятся принятые варианты harness и подтверждённые данными выводы для последующих итераций.

В проекте есть поддержка исполнителей OpenCode и Codex, а также трёх бенчмарков: JobBench, LAB и WorkBuddy-Bench. Доступны параллельный и последовательный режимы рекурсии, локальная демонстрация без учётных данных для моделей и команды для настройки, запуска, оценки и формирования отчётов.

Ключевые возможности

  • 01Рекурсия на уровне задачи улучшает harness с помощью Propose–Probe–Compose без обратной связи с эталонными ответами.
  • 02Рекурсия на уровне harness поддерживает систему улучшений, где между задачами сохраняются принятые варианты harness и выводы.
  • 03Параллельный и последовательный режимы рекурсии задают размах и глубину улучшений.
  • 04Поддерживаются исполнители OpenCode и Codex.
  • 05Включены интеграции с бенчмарками JobBench, LAB и WorkBuddy-Bench.
  • 06Можно редактировать восемь компонентов harness: системный промпт, ограничения, память, инструкции для инструментов, субагентов, навыки, скрипты и плагины.

Сценарии использования

  • Исследователи воспроизводят эксперименты по оптимизации harness на JobBench, LAB или WorkBuddy-Bench.
  • Команды сравнивают варианты harness агента с фиксированной моделью на бенчмарках профессиональных задач.
  • Разработчики изучают, как промпты, инструменты и оркестрация влияют на эффективность агента без переобучения модели.

Быстрый старт

  1. 1

    Создайте виртуальное окружение Python 3.12

    uv venv --python 3.12 .venv
  2. 2

    Активируйте виртуальное окружение

    source .venv/bin/activate
  3. 3

    Установите пакет в editable-режиме с дополнительными зависимостями render

    uv pip install -e '.[render]'
  4. 4

    Запустите локальную демонстрацию (учётные данные модели не нужны)

    harness2-demo --output runs/demo --k 2

Что важно знать

  • Для бенчмарков с использованием моделей требуется настроить Vertex AI и пройти аутентификацию в Google Cloud CLI; также могут потребоваться Docker, Pandoc и Poppler.
  • Запуски с использованием моделей приводят к расходам на API.
  • Сетевой доступ Executor не ограничен, поэтому для ответов бенчмарка может потребоваться заранее настроить сетевые ограничения.

Темы

Частые вопросы

Что такое harness2?
Python-фреймворк для рекурсивной оптимизации harness: он улучшает промпты, инструменты и оркестрацию вокруг неизменяемого LLM-агента для новых задач. Harness² — это фреймворк для улучшения системы вокруг языковой модели, которая выступает в роли агента. Эта система называется harness и включает промпты, инструменты, память, навыки и оркестрацию. Фреймворк не меняет веса модели, а оптимизирует harness, ориентируясь на задачи, с которыми агент не сталкивался при его разработке.
harness2 можно использовать бесплатно? Какая у него лицензия?
harness2 распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
harness2 всё ещё поддерживается?
Активно поддерживается. Последний коммит в harness2 — 14 окт. 2026 г..
Для чего можно использовать harness2?
Исследователи воспроизводят эксперименты по оптимизации harness на JobBench, LAB или WorkBuddy-Bench. Команды сравнивают варианты harness агента с фиксированной моделью на бенчмарках профессиональных задач. Разработчики изучают, как промпты, инструменты и оркестрация влияют на эффективность агента без переобучения модели.
Как установить harness2?
Создайте виртуальное окружение Python 3.12: uv venv --python 3.12 .venv Активируйте виртуальное окружение: source .venv/bin/activate Установите пакет в editable-режиме с дополнительными зависимостями render: uv pip install -e '.[render]' Запустите локальную демонстрацию (учётные данные модели не нужны): harness2-demo --output runs/demo --k 2
Где скачать harness2?
Исходный код и инструкции по установке — на GitHub: https://github.com/google-research/harness2

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты