evalscope은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

evalscope은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

evalscope은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. evalscope의 마지막 커밋은 2026년 10월 21일입니다.

evalscope은(는) 어디에 사용할 수 있나요?

같은 벤치마크에서 여러 후보 LLM을 비교한 뒤 사용할 모델을 선택합니다. 부하가 걸린 상태에서 모델 서빙 배포의 지연 시간과 처리량을 측정합니다. 서드파티 API 배포가 공식 모델과 동등한 동작을 하는지 확인합니다. 사용자 지정 형식으로 정의한 비공개 데이터셋에서 파인튜닝 모델을 평가합니다.

evalscope는 어떻게 설치하나요?

PyPI에서 EvalScope 패키지를 설치합니다: pip install evalscope OpenAI 호환 모델 API를 대상으로 평가를 실행합니다(먼저 엔드포인트와 키를 설정하세요): evalscope eval --model your-model-name --api-url $OPENAI_API_BASE_URL --api-key $OPENAI_API_KEY --eval-type openai_api --datasets gsm8k --limit 5

evalscope은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/modelscope/evalscope

modelscope/evalscope

벤치마크에서 LLM, VLM, AIGC 모델을 평가하고 추론 성능을 부하 테스트하며 결과를 대시보드에서 확인할 수 있는 맞춤형 프레임워크입니다.

GitHub에서 보기 웹사이트

스타: 3,571
포크: 531
열린 이슈: 10
마지막 커밋: 7시간 전

어떤 프로젝트인가요?

EvalScope는 대규모 언어 모델과 기타 생성형 모델을 평가하는 프레임워크입니다. OpenAI API 호환 엔드포인트나 ModelScope에서 다운로드한 로컬 모델을 대상으로 MMLU, C-Eval, GSM8K 같은 내장 벤치마크를 실행하고 터미널에 점수를 출력합니다. 정확도 평가 외에도 모델 서비스의 처리량, 첫 토큰 생성 시간(TTFT), 출력 토큰당 시간(TPOT)을 측정하는 부하 테스트 도구를 제공합니다.

멀티모달 모델, 임베딩 및 리랭커 모델, 선택적으로 Docker 샌드박스를 사용하는 멀티턴 루프 방식의 에이전트 벤치마크도 지원합니다. 웹 대시보드에서 결과를 살펴보고 모델을 나란히 비교할 수 있으며, Arena 모드에서는 일대일 대결을 통해 모델 순위를 매깁니다. OpenCompass, VLMEvalKit, RAGEval 같은 서드파티 백엔드도 동일한 진입점에서 실행할 수 있습니다.

평가는 CLI, Python API 또는 YAML/JSON 파일로 구성할 수 있으며, 개발자는 사용자 지정 데이터셋, 모델, 메트릭을 추가할 수 있습니다.

핵심 기능

01단일 명령으로 MMLU, C-Eval, GSM8K 같은 내장 벤치마크를 실행합니다.
02OpenAI API 호환 엔드포인트와 ModelScope에서 다운로드한 로컬 모델을 평가합니다.
03모델 서비스를 부하 테스트하고 TTFT, TPOT, 처리량을 보고합니다.
04모델 비교와 예측 결과 확인을 위한 웹 대시보드를 제공합니다.
05승률과 순위를 확인할 수 있는 Arena 방식의 일대일 대결을 지원합니다.
06개발자가 사용자 지정 데이터셋, 모델, 메트릭을 추가할 수 있습니다.

활용 사례

같은 벤치마크에서 여러 후보 LLM을 비교한 뒤 사용할 모델을 선택합니다.
부하가 걸린 상태에서 모델 서빙 배포의 지연 시간과 처리량을 측정합니다.
서드파티 API 배포가 공식 모델과 동등한 동작을 하는지 확인합니다.
사용자 지정 형식으로 정의한 비공개 데이터셋에서 파인튜닝 모델을 평가합니다.

빠른 시작

1
PyPI에서 EvalScope 패키지를 설치합니다
pip install evalscope
2
OpenAI 호환 모델 API를 대상으로 평가를 실행합니다(먼저 엔드포인트와 키를 설정하세요)
evalscope eval --model your-model-name --api-url $OPENAI_API_BASE_URL --api-key $OPENAI_API_KEY --eval-type openai_api --datasets gsm8k --limit 5

사용 전 알아둘 점

빠른 시작 예제를 실행하려면 OpenAI 호환 모델 API 엔드포인트와 API 키가 필요합니다.
SWE-bench와 같은 샌드박스 벤치마크에서 에이전트를 평가하려면 Docker가 필요합니다.
이 프로젝트에는 Python 3.10 이상이 필요합니다.

토픽

#llm-evaluation #benchmark #performance-testing #vlm #rag #python #model-evaluation #evaluation #llm #performance

자주 묻는 질문

evalscope은(는) 무엇인가요?: 벤치마크에서 LLM, VLM, AIGC 모델을 평가하고 추론 성능을 부하 테스트하며 결과를 대시보드에서 확인할 수 있는 맞춤형 프레임워크입니다. EvalScope는 대규모 언어 모델과 기타 생성형 모델을 평가하는 프레임워크입니다. OpenAI API 호환 엔드포인트나 ModelScope에서 다운로드한 로컬 모델을 대상으로 MMLU, C-Eval, GSM8K 같은 내장 벤치마크를 실행하고 터미널에 점수를 출력합니다. 정확도 평가 외에도 모델 서비스의 처리량, 첫 토큰 생성 시간(TTFT), 출력 토큰당 시간(TPOT)을 측정하는 부하 테스트 도구를 제공합니다.
evalscope은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?: evalscope은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
evalscope은(는) 아직 유지보수되고 있나요?: 활발히 유지보수 중. evalscope의 마지막 커밋은 2026년 10월 21일입니다.
evalscope은(는) 어디에 사용할 수 있나요?: 같은 벤치마크에서 여러 후보 LLM을 비교한 뒤 사용할 모델을 선택합니다. 부하가 걸린 상태에서 모델 서빙 배포의 지연 시간과 처리량을 측정합니다. 서드파티 API 배포가 공식 모델과 동등한 동작을 하는지 확인합니다. 사용자 지정 형식으로 정의한 비공개 데이터셋에서 파인튜닝 모델을 평가합니다.
evalscope는 어떻게 설치하나요?: PyPI에서 EvalScope 패키지를 설치합니다: pip install evalscope OpenAI 호환 모델 API를 대상으로 평가를 실행합니다(먼저 엔드포인트와 키를 설정하세요): evalscope eval --model your-model-name --api-url $OPENAI_API_BASE_URL --api-key $OPENAI_API_KEY --eval-type openai_api --datasets gsm8k --limit 5
evalscope은(는) 어디서 받을 수 있나요?: 소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/modelscope/evalscope

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.