Repolode
Enviar
harbor-framework

harbor-framework/harbor

Um framework da equipe do Terminal-Bench para avaliar e otimizar agentes de IA e modelos de linguagem em ambientes de contêineres.

Ver no GitHubSite
Estrelas
6,257
Forks
2,032
Issues abertas
1,094
Último commit
há 17 horas

O que é?

Harbor é um framework para avaliar e otimizar agentes e modelos de linguagem. Ele executa agentes como Claude Code, OpenHands e Codex CLI em tarefas de benchmark, cada uma dentro de um ambiente de contêiner.

Além de executar benchmarks existentes, Harbor permite que os usuários criem e compartilhem seus próprios benchmarks e ambientes. Os experimentos podem ser executados em paralelo em vários ambientes, localmente com Docker ou em provedores de sandbox na nuvem, como Daytona e Modal, selecionados por uma flag. É o harness oficial do Terminal-Bench-2.0 e também executa datasets de terceiros, como SWE-Bench, listados por meio de um comando da CLI.

Harbor também pode gerar rollouts para otimização por reinforcement learning. A instalação é feita como CLI, usando uv ou pip.

Recursos principais

  • 01Avalia agentes diversos, como Claude Code, OpenHands e Codex CLI.
  • 02Executa experimentos em paralelo em vários ambientes conteinerizados.
  • 03Oferece suporte à execução local com Docker e a provedores de nuvem, como Daytona e Modal.
  • 04Permite que os usuários criem e compartilhem benchmarks e ambientes personalizados.
  • 05Gera rollouts para otimização com RL.
  • 06É o harness oficial do Terminal-Bench-2.0.

Casos de uso

  • Comparar diferentes agentes de programação e modelos de linguagem em tarefas de terminal.
  • Executar SWE-Bench ou outros benchmarks de terceiros em larga escala.
  • Criar ambientes de avaliação personalizados para um agente interno.
  • Coletar dados de rollout para treinar agentes com reinforcement learning.

Início rápido

  1. 1

    Instale o Harbor com uv

    uv tool install harbor
  2. 2

    Ou instale o Harbor com pip

    pip install harbor
  3. 3

    Configure a chave de API do seu provedor de modelos

    export ANTHROPIC_API_KEY=<YOUR-KEY>
  4. 4

    Execute o Terminal-Bench-2.0 localmente com Docker

    harbor run --dataset terminal-bench@2.0 --agent claude-code --model anthropic/claude-opus-5-5 --n-concurrent 4

Antes de usar

  • Para executar o exemplo, é necessária uma chave de API da Anthropic e o Docker.
  • Ambientes de nuvem, como o Daytona, exigem uma conta e uma chave de API separadas.

Tópicos

#evals#agents#llm-benchmark#reinforcement-learning#docker#terminal#rl-environments#terminal-bench

Perguntas frequentes

O que é harbor?
Um framework da equipe do Terminal-Bench para avaliar e otimizar agentes de IA e modelos de linguagem em ambientes de contêineres. Harbor é um framework para avaliar e otimizar agentes e modelos de linguagem. Ele executa agentes como Claude Code, OpenHands e Codex CLI em tarefas de benchmark, cada uma dentro de um ambiente de contêiner.
harbor é gratuito? Qual é a licença?
harbor é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
harbor ainda é mantido?
Manutenção ativa. O último commit de harbor foi em 19 de out. de 2026.
Para que posso usar harbor?
Comparar diferentes agentes de programação e modelos de linguagem em tarefas de terminal. Executar SWE-Bench ou outros benchmarks de terceiros em larga escala. Criar ambientes de avaliação personalizados para um agente interno. Coletar dados de rollout para treinar agentes com reinforcement learning.
Como instalar harbor?
Instale o Harbor com uv: uv tool install harbor Ou instale o Harbor com pip: pip install harbor Configure a chave de API do seu provedor de modelos: export ANTHROPIC_API_KEY=<YOUR-KEY> Execute o Terminal-Bench-2.0 localmente com Docker: harbor run --dataset terminal-bench@2.0 --agent claude-code --model anthropic/claude-opus-5-5 --n-concurrent 4
Onde consigo harbor?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/harbor-framework/harbor

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados