harbor-framework/harbor

어떤 프로젝트인가요?

핵심 기능

• 01Claude Code, OpenHands, Codex CLI 같은 임의의 에이전트를 평가합니다.
• 02컨테이너화된 여러 환경에서 실험을 병렬로 실행합니다.
• 03로컬 Docker 실행과 Daytona, Modal 같은 클라우드 제공업체를 지원합니다.
• 04사용자가 맞춤형 벤치마크와 환경을 만들고 공유할 수 있습니다.
• 05RL 최적화를 위한 롤아웃을 생성합니다.
• 06Terminal-Bench-2.0의 공식 하네스입니다.

활용 사례

• 터미널 작업에서 여러 코딩 에이전트와 언어 모델의 성능을 비교합니다.
• SWE-Bench 또는 다른 서드파티 벤치마크를 대규모로 실행합니다.
• 내부 에이전트를 위한 맞춤형 평가 환경을 만듭니다.
• 강화 학습으로 에이전트를 훈련하기 위한 롤아웃 데이터를 수집합니다.

빠른 시작

1. 1

   uv로 Harbor 설치하기

   uv tool install harbor
2. 2

   또는 pip로 Harbor 설치하기

   pip install harbor
3. 3

   모델 제공업체 API 키 설정하기

   export ANTHROPIC_API_KEY=<YOUR-KEY>
4. 4

   Docker로 Terminal-Bench-2.0을 로컬에서 실행하기

   harbor run --dataset terminal-bench@2.0 --agent claude-code --model anthropic/claude-opus-5-5 --n-concurrent 4

사용 전 알아둘 점

• !예제를 실행하려면 Anthropic API 키와 Docker가 필요합니다.
• !Daytona와 같은 클라우드 환경에는 별도의 API 키와 계정이 필요합니다.

토픽

자주 묻는 질문

harbor은(는) 무엇인가요?

Terminal-Bench 팀이 컨테이너 환경에서 AI 에이전트와 언어 모델을 평가하고 최적화하기 위해 만든 프레임워크입니다. Harbor는 에이전트와 언어 모델을 평가하고 최적화하는 프레임워크입니다. Claude Code, OpenHands, Codex CLI 같은 에이전트를 벤치마크 작업에 투입하며, 각 작업은 컨테이너 환경에서 실행됩니다.

harbor은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

harbor은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

harbor은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. harbor의 마지막 커밋은 2026년 10월 19일입니다.

harbor은(는) 어디에 사용할 수 있나요?

터미널 작업에서 여러 코딩 에이전트와 언어 모델의 성능을 비교합니다. SWE-Bench 또는 다른 서드파티 벤치마크를 대규모로 실행합니다. 내부 에이전트를 위한 맞춤형 평가 환경을 만듭니다. 강화 학습으로 에이전트를 훈련하기 위한 롤아웃 데이터를 수집합니다.

harbor는 어떻게 설치하나요?

uv로 Harbor 설치하기: uv tool install harbor 또는 pip로 Harbor 설치하기: pip install harbor 모델 제공업체 API 키 설정하기: export ANTHROPIC_API_KEY=<YOUR-KEY> Docker로 Terminal-Bench-2.0을 로컬에서 실행하기: harbor run --dataset terminal-bench@2.0 --agent claude-code --model anthropic/claude-opus-5-5 --n-concurrent 4

harbor은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/harbor-framework/harbor