MMMU-Benchmark/MMMU

어떤 프로젝트인가요?

핵심 기능

• 016개 학문 분야와 30개 과목에 걸친 대학 수준 멀티모달 질문 11.5K개를 다룹니다.
• 02질문을 필터링하고 선택지를 추가했으며 vision-only 입력 설정을 제공하는 MMMU-Pro를 포함합니다.
• 03로컬 평가를 위한 development·validation 데이터와 공개된 test 세트 정답을 제공합니다.
• 04OpenAI 호환 모델 엔드포인트에서 사용할 EvalScope 워크플로를 문서화합니다.

활용 사례

• 학술 이미지에 대한 비전-언어 모델의 전문가 수준 추론 능력을 벤치마킹합니다.
• 더 어려운 vision-only 설정에서 멀티모달 모델을 비교합니다.
• 공개된 정답 파일을 사용해 test 세트를 로컬에서 평가합니다.

빠른 시작

1. 1

   EvalScope 평가 도구(커뮤니티에서 유지 관리하는 워크플로)를 설치합니다

2. 2

   EvalScope를 사용해 OpenAI 호환 엔드포인트에서 MMMU 평가를 실행합니다

   evalscope eval \ --model YOUR_MODEL \ --api-url OPENAI_API_COMPAT_URL \ --api-key EMPTY_TOKEN \ --datasets mmmu \ --limit 10

사용 전 알아둘 점

• !이 저장소는 주로 평가 코드와 데이터 참조 정보를 제공하며, 독립 실행형 소프트웨어 제품은 아닙니다.
• !빠른 시작에서는 공식 파이프라인이 아닌 서드파티 커뮤니티 통합을 사용합니다.
• !평가를 실행하려면 모델 엔드포인트에 접근할 수 있어야 하며, API 키나 컴퓨팅 리소스가 필요할 수 있습니다.

토픽

자주 묻는 질문

MMMU은(는) 무엇인가요?

대학 수준의 여러 학문 분야 질문으로 멀티모달 모델을 평가하는 MMMU 및 MMMU-Pro 벤치마크의 평가 코드와 데이터 안내입니다. MMMU는 대학 시험, 퀴즈, 교재에서 가져온 약 11.5K개의 멀티모달 질문으로 구성된 벤치마크입니다. 6개 학문 분야, 30개 과목, 차트·다이어그램·지도·화학 구조식 등 32가지 이미지 유형을 다룹니다. 일반적인 시각 인식이 아니라 전문가 수준의 지각과 추론 능력을 평가하도록 설계되었습니다.

MMMU은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

MMMU은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

MMMU은(는) 아직 유지보수되고 있나요?

6개월 이내 업데이트. MMMU의 마지막 커밋은 2026년 7월 28일입니다.

MMMU은(는) 어디에 사용할 수 있나요?

학술 이미지에 대한 비전-언어 모델의 전문가 수준 추론 능력을 벤치마킹합니다. 더 어려운 vision-only 설정에서 멀티모달 모델을 비교합니다. 공개된 정답 파일을 사용해 test 세트를 로컬에서 평가합니다.

MMMU는 어떻게 설치하나요?

EvalScope 평가 도구(커뮤니티에서 유지 관리하는 워크플로)를 설치합니다 EvalScope를 사용해 OpenAI 호환 엔드포인트에서 MMMU 평가를 실행합니다: evalscope eval \ --model YOUR_MODEL \ --api-url OPENAI_API_COMPAT_URL \ --api-key EMPTY_TOKEN \ --datasets mmmu \ --limit 10

MMMU은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/MMMU-Benchmark/MMMU