Repolode
Enviar
harbor-framework

harbor-framework/harbor

Un framework del equipo de Terminal-Bench para evaluar y optimizar agentes de IA y modelos de lenguaje en entornos de contenedores.

Ver en GitHubSitio web
Estrellas
6,257
Forks
2,032
Issues abiertos
1,094
Último commit
hace 17 horas

¿Qué es?

Harbor es un framework para evaluar y optimizar agentes y modelos de lenguaje. Ejecuta agentes como Claude Code, OpenHands y Codex CLI con tareas de benchmark, cada una dentro de un entorno de contenedor.

Además de ejecutar benchmarks existentes, Harbor permite crear y compartir benchmarks y entornos propios. Los experimentos pueden ejecutarse en paralelo en numerosos entornos, localmente con Docker o en proveedores de sandbox en la nube, como Daytona y Modal, que se seleccionan mediante una opción. Es el harness oficial de Terminal-Bench-2.0 y también puede ejecutar conjuntos de datos de terceros, como SWE-Bench, que se enumeran mediante un comando de CLI.

Harbor también puede generar rollouts para la optimización mediante aprendizaje por refuerzo. Se instala como CLI con uv o pip.

Funciones clave

  • 01Evalúa agentes arbitrarios, como Claude Code, OpenHands y Codex CLI.
  • 02Ejecuta experimentos en paralelo en numerosos entornos de contenedores.
  • 03Admite la ejecución local con Docker y proveedores en la nube, como Daytona y Modal.
  • 04Permite crear y compartir benchmarks y entornos personalizados.
  • 05Genera rollouts para la optimización mediante aprendizaje por refuerzo.
  • 06Harness oficial de Terminal-Bench-2.0.

Casos de uso

  • Comparar distintos agentes de programación y modelos de lenguaje en tareas de terminal.
  • Ejecutar SWE-Bench u otros benchmarks de terceros a gran escala.
  • Crear entornos de evaluación personalizados para un agente interno.
  • Recopilar datos de rollouts para entrenar agentes mediante aprendizaje por refuerzo.

Inicio rápido

  1. 1

    Instala Harbor con uv

    uv tool install harbor
  2. 2

    O instala Harbor con pip

    pip install harbor
  3. 3

    Configura la clave de API de tu proveedor de modelos

    export ANTHROPIC_API_KEY=<YOUR-KEY>
  4. 4

    Ejecuta Terminal-Bench-2.0 localmente con Docker

    harbor run --dataset terminal-bench@2.0 --agent claude-code --model anthropic/claude-opus-5-5 --n-concurrent 4

Antes de usarlo

  • Para ejecutar el ejemplo se necesitan una clave de API de Anthropic y Docker.
  • Los entornos en la nube, como Daytona, requieren una cuenta y una clave de API independientes.

Temas

#evals#agents#llm-benchmark#reinforcement-learning#docker#terminal#rl-environments#terminal-bench

Preguntas frecuentes

¿Qué es harbor?
Un framework del equipo de Terminal-Bench para evaluar y optimizar agentes de IA y modelos de lenguaje en entornos de contenedores. Harbor es un framework para evaluar y optimizar agentes y modelos de lenguaje. Ejecuta agentes como Claude Code, OpenHands y Codex CLI con tareas de benchmark, cada una dentro de un entorno de contenedor.
¿harbor es gratuito? ¿Qué licencia tiene?
harbor es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿harbor sigue mantenido?
Mantenimiento activo. El último commit de harbor fue el 19 oct 2026.
¿Para qué puedo usar harbor?
Comparar distintos agentes de programación y modelos de lenguaje en tareas de terminal. Ejecutar SWE-Bench u otros benchmarks de terceros a gran escala. Crear entornos de evaluación personalizados para un agente interno. Recopilar datos de rollouts para entrenar agentes mediante aprendizaje por refuerzo.
¿Cómo se instala harbor?
Instala Harbor con uv: uv tool install harbor O instala Harbor con pip: pip install harbor Configura la clave de API de tu proveedor de modelos: export ANTHROPIC_API_KEY=<YOUR-KEY> Ejecuta Terminal-Bench-2.0 localmente con Docker: harbor run --dataset terminal-bench@2.0 --agent claude-code --model anthropic/claude-opus-5-5 --n-concurrent 4
¿Dónde consigo harbor?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/harbor-framework/harbor

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados