Repolode
제출하기
EvolvingLMMs-Lab

EvolvingLMMs-Lab/lmms-eval

이미지·비디오·오디오 작업 전반에서 100개 이상의 벤치마크와 30개 이상의 모델 백엔드를 지원하는 통합 멀티모달 모델 평가 도구입니다.

GitHub에서 보기웹사이트
스타
4,488
포크
686
열린 이슈
67
마지막 커밋
어제

어떤 프로젝트인가요?

lmms-eval은 대규모 멀티모달 모델을 평가하기 위한 도구 모음입니다. 이미지·비디오·오디오 이해를 아우르는 공통 벤치마크에서 모델을 실행하므로, 여러 데이터셋과 후처리 스크립트를 따로 조합하지 않고도 동일한 작업과 파이프라인으로 결과를 비교할 수 있습니다.

MMMU, MME, MMBench, MathVista, VideoMME, EgoSchema 등 100개가 넘는 작업을 제공하며, Qwen2.5-VL, Qwen3-VL, LLaVA-OneVision, InternVL-2를 비롯한 30개 이상의 모델 계열을 지원합니다. 모델은 로컬에서 실행하거나 vLLM 또는 SGLang 서버를 통해 실행할 수 있으며, OpenAI 호환 API도 사용할 수 있습니다. YAML 설정과 문서를 메시지로 변환하는 함수를 이용해 사용자 지정 벤치마크를 추가할 수도 있습니다.

CLI 실행 도구 외에도 실행을 설정하고 모니터링할 수 있는 웹 UI와 비동기 평가 작업을 받는 HTTP 평가 서버가 포함되어 있어, 학습 중 체크포인트를 평가하는 데 적합합니다. 이 프로젝트는 멀티모달 입력을 지원하도록 수정한 lm-evaluation-harness 포크입니다.

핵심 기능

  • 01단일 파이프라인에서 이미지·비디오·오디오 벤치마크 100개 이상을 실행합니다.
  • 0230개 이상의 모델 계열과 OpenAI 호환 API 엔드포인트를 지원합니다.
  • 03vLLM 및 SGLang을 통한 서버 기반 평가를 지원합니다.
  • 04실행을 설정하고 저장된 결과를 확인할 수 있는 웹 UI를 제공합니다.
  • 05비동기 작업 큐를 갖춘 HTTP 평가 서버를 제공합니다.
  • 06YAML과 메시지 생성 함수를 사용해 사용자 지정 작업을 추가할 수 있습니다.

활용 사례

  • 멀티모달 모델을 이미지 또는 비디오 표준 벤치마크와 비교합니다.
  • 모델 학습 중 체크포인트를 자동으로 평가합니다.
  • GPT-4o 같은 API 호스팅 모델을 오픈 웨이트 모델과 함께 벤치마크합니다.
  • 사내 평가 데이터셋을 공유 가능한 재현성 있는 파이프라인에 추가합니다.

빠른 시작

  1. 1

    저장소를 클론합니다

    git clone https://github.com/EvolvingLMMs-Lab/lmms-eval.git
  2. 2

    uv로 패키지를 편집 가능한 모드로 설치합니다

    cd lmms-eval && uv pip install -e ".[all]"
  3. 3

    간단한 평가를 실행합니다(MME에서 Qwen2.5-VL, 샘플 8개)

    python -m lmms_eval --model qwen2_5_vl --model_args pretrained=Qwen/Qwen2.5-VL-3B-Instruct --tasks mme --batch_size 1 --limit 8

사용 전 알아둘 점

  • 메타데이터에 명확한 라이선스가 표시되어 있지 않습니다(NOASSERTION). 재사용하기 전에 라이선스 조건을 확인하세요.
  • 일부 작업에는 OpenAI 또는 Reka 등의 API 키가 필요하며, 일부 캡션 작업에는 Java 8 설치가 필요합니다.
  • 로컬 모델로 평가를 실행하려면 일반적으로 GPU와 다수의 종속성이 필요합니다.

포함된 컬렉션

테스트 프레임워크 & 자동화 테스트 도구

토픽

#multimodal#vision-language-model#benchmark#evaluation#video-understanding#audio-evaluation#llm-evaluation#agi#large-language-models#multimodal-evaluation

자주 묻는 질문

lmms-eval은(는) 무엇인가요?
이미지·비디오·오디오 작업 전반에서 100개 이상의 벤치마크와 30개 이상의 모델 백엔드를 지원하는 통합 멀티모달 모델 평가 도구입니다. lmms-eval은 대규모 멀티모달 모델을 평가하기 위한 도구 모음입니다. 이미지·비디오·오디오 이해를 아우르는 공통 벤치마크에서 모델을 실행하므로, 여러 데이터셋과 후처리 스크립트를 따로 조합하지 않고도 동일한 작업과 파이프라인으로 결과를 비교할 수 있습니다.
lmms-eval은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
lmms-eval은(는) Other 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
lmms-eval은(는) 아직 유지보수되고 있나요?
활발히 유지보수 중. lmms-eval의 마지막 커밋은 2026년 11월 6일입니다.
lmms-eval은(는) 어디에 사용할 수 있나요?
멀티모달 모델을 이미지 또는 비디오 표준 벤치마크와 비교합니다. 모델 학습 중 체크포인트를 자동으로 평가합니다. GPT-4o 같은 API 호스팅 모델을 오픈 웨이트 모델과 함께 벤치마크합니다. 사내 평가 데이터셋을 공유 가능한 재현성 있는 파이프라인에 추가합니다.
lmms-eval는 어떻게 설치하나요?
저장소를 클론합니다: git clone https://github.com/EvolvingLMMs-Lab/lmms-eval.git uv로 패키지를 편집 가능한 모드로 설치합니다: cd lmms-eval && uv pip install -e ".[all]" 간단한 평가를 실행합니다(MME에서 Qwen2.5-VL, 샘플 8개): python -m lmms_eval --model qwen2_5_vl --model_args pretrained=Qwen/Qwen2.5-VL-3B-Instruct --tasks mme --batch_size 1 --limit 8
lmms-eval은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/EvolvingLMMs-Lab/lmms-eval

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트