opencompass은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

opencompass은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

opencompass은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. opencompass의 마지막 커밋은 2026년 10월 21일입니다.

opencompass은(는) 어디에 사용할 수 있나요?

공통 벤치마크 세트에서 여러 오픈소스 LLM 또는 API LLM의 성능을 비교합니다. 모델 개발 또는 파인튜닝 중 재현 가능한 평가를 실행합니다. 하나의 워크플로에서 텍스트 및 비전-언어 벤치마크로 멀티모달 모델을 평가합니다.

opencompass는 어떻게 설치하나요?

Python 3.12 conda 환경을 만듭니다: conda create --name opencompass python=3.12 -y 환경을 활성화합니다: conda activate opencompass pip로 OpenCompass를 설치합니다: pip install -U opencompass 문서의 빠른 시작 가이드를 읽고 첫 평가를 실행합니다

opencompass은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/open-compass/opencompass

open-compass/opencompass

100개 이상의 데이터셋과 다양한 모델 제공자 및 추론 백엔드를 지원하는 오픈소스 LLM 평가 통합 플랫폼입니다.

GitHub에서 보기 웹사이트

스타: 7,531
포크: 888
열린 이슈: 376
마지막 커밋: 6시간 전

어떤 프로젝트인가요?

OpenCompass는 대규모 언어 모델을 벤치마킹하는 플랫폼입니다. OpenAI, Anthropic, Gemini, Qwen, GLM, DeepSeek 등의 제공자가 지원하는 모델과 로컬 오픈소스 모델을 지원하며, 지식, 추론, 코딩, 과학, 언어, 긴 컨텍스트, 안전성 분야를 아우르는 100개 이상의 데이터셋을 다룹니다.

이 프로젝트는 데이터셋 및 모델 설정, 추론, 평가, 결과 요약까지 이어지는 엔드투엔드 워크플로를 제공합니다. 추론은 HuggingFace, LMDeploy 또는 vLLM 백엔드에서 실행할 수 있으며, 평가는 zero-shot, few-shot, chain-of-thought, 규칙 기반, LLM-as-judge 방식을 지원합니다. 작업 분할과 동시 및 분산 실행으로 다양한 워크로드에 대응할 수 있습니다.

OpenCompass는 VLMEvalKit도 통합해 텍스트 전용 데이터셋과 비전-언어 데이터셋을 하나의 워크플로에서 실행할 수 있습니다. 확장 지점을 통해 새 모델, 데이터셋, 평가기, 추론 백엔드를 추가할 수 있습니다.

핵심 기능

01OpenAI, Anthropic Claude, Google Gemini 같은 API 모델과 로컬 오픈소스 모델을 지원합니다.
02지식, 추론, 코딩, 과학, 긴 컨텍스트, 안전성 분야의 100개 이상의 데이터셋을 다룹니다.
03HuggingFace, LMDeploy 또는 vLLM 백엔드에서 추론을 실행합니다.
04규칙 기반, LLM-as-judge, 수학 검증 평가기를 제공합니다.
05작업 분할과 동시 및 분산 실행을 지원합니다.
06비전-언어 데이터셋 평가를 위해 VLMEvalKit을 통합합니다.

활용 사례

공통 벤치마크 세트에서 여러 오픈소스 LLM 또는 API LLM의 성능을 비교합니다.
모델 개발 또는 파인튜닝 중 재현 가능한 평가를 실행합니다.
하나의 워크플로에서 텍스트 및 비전-언어 벤치마크로 멀티모달 모델을 평가합니다.

빠른 시작

1
Python 3.12 conda 환경을 만듭니다
conda create --name opencompass python=3.12 -y
2
환경을 활성화합니다
conda activate opencompass
3
pip로 OpenCompass를 설치합니다
pip install -U opencompass
4
문서의 빠른 시작 가이드를 읽고 첫 평가를 실행합니다

사용 전 알아둘 점

일부 데이터셋(APPS, TACO, LiveCodeBench 코드 생성)은 pyext 종속성 때문에 Python 3.10이 필요합니다.
종속성 충돌로 인해 LMDeploy 및 vLLM과 같은 추론 백엔드는 별도로 설치해야 합니다.

토픽

#llm-evaluation #benchmark #large-language-model #inference #evaluation-framework #evaluation #llm #llm-eval

자주 묻는 질문

opencompass은(는) 무엇인가요?: 100개 이상의 데이터셋과 다양한 모델 제공자 및 추론 백엔드를 지원하는 오픈소스 LLM 평가 통합 플랫폼입니다. OpenCompass는 대규모 언어 모델을 벤치마킹하는 플랫폼입니다. OpenAI, Anthropic, Gemini, Qwen, GLM, DeepSeek 등의 제공자가 지원하는 모델과 로컬 오픈소스 모델을 지원하며, 지식, 추론, 코딩, 과학, 언어, 긴 컨텍스트, 안전성 분야를 아우르는 100개 이상의 데이터셋을 다룹니다.
opencompass은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?: opencompass은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
opencompass은(는) 아직 유지보수되고 있나요?: 활발히 유지보수 중. opencompass의 마지막 커밋은 2026년 10월 21일입니다.
opencompass은(는) 어디에 사용할 수 있나요?: 공통 벤치마크 세트에서 여러 오픈소스 LLM 또는 API LLM의 성능을 비교합니다. 모델 개발 또는 파인튜닝 중 재현 가능한 평가를 실행합니다. 하나의 워크플로에서 텍스트 및 비전-언어 벤치마크로 멀티모달 모델을 평가합니다.
opencompass는 어떻게 설치하나요?: Python 3.12 conda 환경을 만듭니다: conda create --name opencompass python=3.12 -y 환경을 활성화합니다: conda activate opencompass pip로 OpenCompass를 설치합니다: pip install -U opencompass 문서의 빠른 시작 가이드를 읽고 첫 평가를 실행합니다
opencompass은(는) 어디서 받을 수 있나요?: 소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/open-compass/opencompass

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.