claw-eval/claw-eval

어떤 프로젝트인가요?

핵심 기능

• 01일반, 멀티모달, 멀티턴 스플릿에 걸친 작업 300개를 제공합니다.
• 02전체 실행 궤적을 감사해 완료도, 안전성, 견고성을 기준으로 실행 결과를 채점합니다.
• 03서로 독립적인 세 번의 시험에서 성공해야 하는 Pass^3 점수를 사용합니다.
• 04샌드박스 및 병렬 실행 옵션을 지원하는 CLI로 일괄 평가를 수행합니다.
• 05Hugging Face 및 ModelScope에 데이터셋을 공개합니다.

활용 사례

• 사무 업무 흐름이나 문서 처리 같은 에이전트 작업에서 LLM을 비교합니다.
• 에이전트가 사용자를 대신해 작업을 수행할 때 안전하게 행동하는지 테스트합니다.
• 모델을 에이전트로 배포하기 전에 실행 간 일관성을 측정합니다.
• 리더보드에 공개된 에이전트 벤치마크 결과를 재현합니다.

빠른 시작

1. 1

   패키지 관리자 uv를 설치합니다

   pip install uv
2. 2

   Python 3.11 가상 환경을 만들고 활성화합니다

   uv venv --python 3.11
3. 3

   API 키를 설정하고 sandbox 환경을 구성합니다

   bash scripts/test_sandbox.sh
4. 4

   모델 설정으로 배치 평가를 실행합니다

   claw-eval batch --config model_configs/claude_opus_46.yaml --sandbox --trials 3 --parallel 16

사용 전 알아둘 점

• !평가를 실행하려면 OpenRouter와 같은 유료 모델 API 키가 필요합니다.
• !파일 크기 제한으로 인해 동영상을 포함한 모든 fixture는 Hugging Face에서 별도로 다운로드해야 합니다.
• !채점에는 특정 타사 모델(gemini-3-flash 및 claude opus 4.6)이 필요하므로 비용과 종속성이 추가됩니다.

포함된 컬렉션

토픽

자주 묻는 질문

claw-eval은(는) 무엇인가요?

LLM을 자율 에이전트로 평가하는 테스트 프레임워크로, 완료도·안전성·견고성을 기준으로 채점하는 사람이 검증한 300개 작업을 제공합니다. Claw-Eval은 대규모 언어 모델이 현실적인 다단계 작업에서 에이전트로서 얼마나 잘 수행하는지 측정하는 평가 프레임워크입니다. 커뮤니케이션, 금융, 운영, 생산성, 웹페이지 생성, 비디오 QA, 문서 추출을 아우르는 3개 스플릿(일반, 멀티모달, 멀티턴)의 작업 300개를 제공하며, 각 작업에는 사람이 검증한 채점 기준이 포함되어 있습니다.

claw-eval은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

claw-eval은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

claw-eval은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. claw-eval의 마지막 커밋은 2026년 10월 22일입니다.

claw-eval은(는) 어디에 사용할 수 있나요?

사무 업무 흐름이나 문서 처리 같은 에이전트 작업에서 LLM을 비교합니다. 에이전트가 사용자를 대신해 작업을 수행할 때 안전하게 행동하는지 테스트합니다. 모델을 에이전트로 배포하기 전에 실행 간 일관성을 측정합니다. 리더보드에 공개된 에이전트 벤치마크 결과를 재현합니다.

claw-eval는 어떻게 설치하나요?

패키지 관리자 uv를 설치합니다: pip install uv Python 3.11 가상 환경을 만들고 활성화합니다: uv venv --python 3.11 API 키를 설정하고 sandbox 환경을 구성합니다: bash scripts/test_sandbox.sh 모델 설정으로 배치 평가를 실행합니다: claw-eval batch --config model_configs/claude_opus_46.yaml --sandbox --trials 3 --parallel 16

claw-eval은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/claw-eval/claw-eval