ClawProBench은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

ClawProBench은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

ClawProBench은(는) 아직 유지보수되고 있나요?

6개월 이내 업데이트. ClawProBench의 마지막 커밋은 2026년 8월 25일입니다.

ClawProBench은(는) 어디에 사용할 수 있나요?

OpenClaw에서 실행하는 에이전트 작업을 기준으로 LLM 모델 순위 매기기 반복 실행을 통해 에이전트가 같은 작업을 안정적으로 완료하는지 측정하기 공유된 재현 가능 작업 세트에서 모델 버전이나 제공업체 비교하기 OpenClaw 기반 워크플로에 커스텀 시나리오와 채점기 추가하기

ClawProBench는 어떻게 설치하나요?

uv를 설치하고 Python 3.11 가상 환경을 만듭니다: pip install uv 가상 환경을 만들고 requirements를 설치합니다: uv venv --python 3.11 벤치마크 카탈로그를 살펴보고 시나리오 세트를 검증합니다: python3 run.py inventory 기본 순위 벤치마크에서 1회 시험 스모크 테스트를 실행합니다(로컬 OpenClaw 런타임과 모델 필요): python3 run.py run --model ' ' --execution-mode live --benchmark-profile core --trials 1 --cleanup-agents

ClawProBench은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/suyoumo/ClawProBench

suyoumo/ClawProBench

OpenClaw 런타임에서 LLM 에이전트를 평가하고, 결정론적 채점과 반복 실행 신뢰도 지표를 제공하는 실전 우선 벤치마크 하네스입니다.

GitHub에서 보기 웹사이트

스타: 828
포크: 54
열린 이슈: 0
마지막 커밋: 2개월 전

어떤 프로젝트인가요?

ClawProBench는 시뮬레이션 결과가 아닌 실제 OpenClaw 실행 환경에서 LLM 에이전트를 테스트합니다. 벤치마크 시나리오 카탈로그를 제공하며, 기본 순위 평가용(core), 확장 역량 평가용(intelligence), 네이티브 전용 프로필 등으로 시나리오를 묶어 점수, 비용, 지연 시간을 담은 구조화된 보고서를 생성합니다.

시나리오별 커스텀 검사기를 사용해 결정론적으로 채점합니다. --trials N으로 반복 실행하면 pass^3, pass@3, 평균 점수와 일관된 성공에 가장 큰 가중치를 두는 종합 FinalScore를 확인할 수 있습니다. 중단된 실행은 체크포인트에서 재개할 수 있으며, 실행 실패 항목은 다시 대기열에 넣을 수 있습니다.

저장소에는 inventory, dry-run 검증, run, compare 명령을 지원하는 CLI(run.py)와 시나리오 YAML 파일, 시드 데이터셋, 공개 리더보드 사이트가 포함되어 있습니다.

핵심 기능

01로컬 OpenClaw 런타임에서 에이전트 작업 실행
02시나리오별 커스텀 검사기를 통한 결정론적 채점
03pass^3, pass@3, 평균 점수 등의 반복 실행 지표 제공
0426개 시나리오의 core부터 102개 시나리오의 전체 스위트까지 벤치마크 프로필 제공
05체크포인트에서 실행 재개 및 실행 실패 항목 재등록
06compare 명령으로 모델 간 보고서 비교

활용 사례

OpenClaw에서 실행하는 에이전트 작업을 기준으로 LLM 모델 순위 매기기
반복 실행을 통해 에이전트가 같은 작업을 안정적으로 완료하는지 측정하기
공유된 재현 가능 작업 세트에서 모델 버전이나 제공업체 비교하기
OpenClaw 기반 워크플로에 커스텀 시나리오와 채점기 추가하기

빠른 시작

1
uv를 설치하고 Python 3.11 가상 환경을 만듭니다
pip install uv
2
가상 환경을 만들고 requirements를 설치합니다
uv venv --python 3.11
3
벤치마크 카탈로그를 살펴보고 시나리오 세트를 검증합니다
python3 run.py inventory
4
기본 순위 벤치마크에서 1회 시험 스모크 테스트를 실행합니다(로컬 OpenClaw 런타임과 모델 필요)
python3 run.py run --model '<MODEL>' --execution-mode live --benchmark-profile core --trials 1 --cleanup-agents

사용 전 알아둘 점

라이브 실행에는 정상 작동하는 로컬 OpenClaw CLI와 모델 인증 및 구성이 필요합니다.
전체 벤치마크를 실행하려면 모델에 액세스해야 하며, 각 시험에서 라이브 작업을 실행하므로 비용이 많이 들 수 있습니다.

토픽

#agent #benchmark #evaluation #llm #openclaw #harness #leaderboard

자주 묻는 질문

ClawProBench은(는) 무엇인가요?: OpenClaw 런타임에서 LLM 에이전트를 평가하고, 결정론적 채점과 반복 실행 신뢰도 지표를 제공하는 실전 우선 벤치마크 하네스입니다. ClawProBench는 시뮬레이션 결과가 아닌 실제 OpenClaw 실행 환경에서 LLM 에이전트를 테스트합니다. 벤치마크 시나리오 카탈로그를 제공하며, 기본 순위 평가용(core), 확장 역량 평가용(intelligence), 네이티브 전용 프로필 등으로 시나리오를 묶어 점수, 비용, 지연 시간을 담은 구조화된 보고서를 생성합니다.
ClawProBench은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?: ClawProBench은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
ClawProBench은(는) 아직 유지보수되고 있나요?: 6개월 이내 업데이트. ClawProBench의 마지막 커밋은 2026년 8월 25일입니다.
ClawProBench은(는) 어디에 사용할 수 있나요?: OpenClaw에서 실행하는 에이전트 작업을 기준으로 LLM 모델 순위 매기기 반복 실행을 통해 에이전트가 같은 작업을 안정적으로 완료하는지 측정하기 공유된 재현 가능 작업 세트에서 모델 버전이나 제공업체 비교하기 OpenClaw 기반 워크플로에 커스텀 시나리오와 채점기 추가하기
ClawProBench는 어떻게 설치하나요?: uv를 설치하고 Python 3.11 가상 환경을 만듭니다: pip install uv 가상 환경을 만들고 requirements를 설치합니다: uv venv --python 3.11 벤치마크 카탈로그를 살펴보고 시나리오 세트를 검증합니다: python3 run.py inventory 기본 순위 벤치마크에서 1회 시험 스모크 테스트를 실행합니다(로컬 OpenClaw 런타임과 모델 필요): python3 run.py run --model '<MODEL>' --execution-mode live --benchmark-profile core --trials 1 --cleanup-agents
ClawProBench은(는) 어디서 받을 수 있나요?: 소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/suyoumo/ClawProBench

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.