Repolode
google-research

google-research/harness2

Framework em Python para otimização recursiva de harnesses, que aprimora prompts, ferramentas e orquestração em torno de um agente LLM fixo para tarefas inéditas.

Estrelas
9,158
Forks
802
Issues abertas
72
Último commit
há 6 dias

O que é?

Harness² é um framework para aprimorar o sistema que envolve um modelo de linguagem e permite que ele atue como agente. Esse sistema, chamado harness, inclui prompts, ferramentas, memória, skills e orquestração. O framework mantém os pesos do modelo fixos e, em vez disso, otimiza o harness, com foco em tarefas que o agente não encontrou durante o projeto do harness.

Ele opera em dois níveis. A recursão no nível da tarefa aprimora o harness para a tarefa atual por meio de uma etapa Propose–Probe–Compose: propõe edições, executa-as na mesma tarefa e compõe um novo harness com base nas diferenças comportamentais entre as execuções, sem feedback de respostas corretas. A recursão no nível do harness mantém um harness de aprimoramento persistente, que armazena harnesses adotados e lições respaldadas por evidências para orientar refinamentos posteriores.

O projeto oferece suporte aos executores OpenCode e Codex e a três benchmarks: JobBench, LAB e WorkBuddy-Bench. Também oferece modos de recursão paralela e sequencial, uma demonstração local que não precisa de credenciais de modelo e comandos para configuração, execução, avaliação e geração de relatórios.

Recursos principais

  • 01A recursão no nível da tarefa aprimora o harness por meio de Propose–Probe–Compose, sem feedback de respostas corretas.
  • 02A recursão no nível do harness mantém um harness de aprimoramento com harnesses adotados e lições acumuladas entre tarefas.
  • 03Os modos de recursão paralela e sequencial controlam a amplitude e a profundidade do refinamento.
  • 04Oferece suporte aos executores OpenCode e Codex.
  • 05Inclui integrações com os benchmarks JobBench, LAB e WorkBuddy-Bench.
  • 06Edita oito componentes do harness: prompt de sistema, guardrails, memória, orientações sobre ferramentas, subagentes, skills, scripts e plugins.

Casos de uso

  • Pesquisadores que reproduzem experimentos de otimização de harness em JobBench, LAB ou WorkBuddy-Bench.
  • Equipes que comparam designs de harness para agentes com um modelo fixo, usando benchmarks de tarefas profissionais.
  • Desenvolvedores que estudam como prompts, ferramentas e orquestração afetam o desempenho de agentes sem retreinar o modelo.

Início rápido

  1. 1

    Crie um ambiente virtual com Python 3.12

    uv venv --python 3.12 .venv
  2. 2

    Ative o ambiente virtual

    source .venv/bin/activate
  3. 3

    Instale o pacote em modo editável com as dependências extras de render

    uv pip install -e '.[render]'
  4. 4

    Execute a demonstração local (não são necessárias credenciais do modelo)

    harness2-demo --output runs/demo --k 2

Antes de usar

  • Benchmarks baseados em modelos exigem a configuração do Vertex AI e a autenticação do Google Cloud CLI; também podem precisar de Docker, Pandoc e Poppler.
  • Execuções baseadas em modelos geram custos de API.
  • O acesso à rede do Executor não é restrito, então talvez seja necessário configurar restrições de rede com antecedência para as respostas do benchmark.

Tópicos

Perguntas frequentes

O que é harness2?
Framework em Python para otimização recursiva de harnesses, que aprimora prompts, ferramentas e orquestração em torno de um agente LLM fixo para tarefas inéditas. Harness² é um framework para aprimorar o sistema que envolve um modelo de linguagem e permite que ele atue como agente. Esse sistema, chamado harness, inclui prompts, ferramentas, memória, skills e orquestração. O framework mantém os pesos do modelo fixos e, em vez disso, otimiza o harness, com foco em tarefas que o agente não encontrou durante o projeto do harness.
harness2 é gratuito? Qual é a licença?
harness2 é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
harness2 ainda é mantido?
Manutenção ativa. O último commit de harness2 foi em 14 de out. de 2026.
Para que posso usar harness2?
Pesquisadores que reproduzem experimentos de otimização de harness em JobBench, LAB ou WorkBuddy-Bench. Equipes que comparam designs de harness para agentes com um modelo fixo, usando benchmarks de tarefas profissionais. Desenvolvedores que estudam como prompts, ferramentas e orquestração afetam o desempenho de agentes sem retreinar o modelo.
Como instalar harness2?
Crie um ambiente virtual com Python 3.12: uv venv --python 3.12 .venv Ative o ambiente virtual: source .venv/bin/activate Instale o pacote em modo editável com as dependências extras de render: uv pip install -e '.[render]' Execute a demonstração local (não são necessárias credenciais do modelo): harness2-demo --output runs/demo --k 2
Onde consigo harness2?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/google-research/harness2

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados