Repolode
제출하기
open-compass

open-compass/VLMEvalKit

다양한 멀티모달 벤치마크에서 대형 비전-언어 모델을 한 번의 명령으로 평가하는 오픈소스 툴킷입니다.

GitHub에서 보기웹사이트
스타
4,475
포크
789
열린 이슈
322
마지막 커밋
24시간 전

어떤 프로젝트인가요?

VLMEvalKit(Python 패키지 이름: vlmeval)은 여러 이미지 및 비디오 벤치마크에서 대형 비전-언어 모델(LVLM)을 평가합니다. 지원되는 모델과 벤치마크를 지정해 명령 하나만 실행하면 데이터셋 다운로드, 전처리, 추론, 지표 계산을 툴킷이 처리하므로 여러 저장소에서 데이터를 따로 준비할 필요가 없습니다.

모든 모델은 생성 기반 평가를 거치며, 결과는 exact matching과 LLM 기반 답변 추출 방식으로 모두 제공됩니다. GPT-4V, Gemini 같은 상용 API와 Qwen-VL, LLaVA, InternVL 같은 오픈소스 모델을 비롯해 다양한 모델을 지원합니다. 모델 개발자는 generate_inner() 함수 하나를 구현해 자체 모델을 추가할 수 있습니다.

프로젝트는 Hugging Face와 OpenCompass에 공식 리더보드를 공개하며, 평가 기록도 다운로드할 수 있습니다. 설정 안내에는 모델별로 필요한 transformers 및 torchvision 버전이 명시되어 있습니다.

핵심 기능

  • 01수십 가지 이미지 및 비디오 벤치마크에서 LVLM을 명령 하나로 평가합니다.
  • 02데이터 다운로드, 전처리, 추론 및 지표 계산을 자동으로 처리합니다.
  • 03exact-match 및 LLM 기반 답변 추출 결과를 모두 제공합니다.
  • 04상용 API와 다양한 오픈소스 비전-언어 모델을 지원합니다.
  • 05generate_inner() 함수 하나를 구현해 새 모델을 추가할 수 있습니다.
  • 06LMDeploy 또는 vLLM을 통한 멀티노드 분산 추론을 지원합니다.

활용 사례

  • 동일한 벤치마크에서 여러 비전-언어 모델의 성능을 비교합니다.
  • 자체 개발한 멀티모달 모델을 기존 벤치마크로 평가합니다.
  • 멀티모달 모델의 공개 리더보드 결과를 재현합니다.
  • 분산 추론으로 대규모 사고형 모델 평가를 실행합니다.

빠른 시작

  1. 1

    설치 및 설정 방법은 QuickStart 가이드를 읽어보세요

  2. 2

    Python에서 지원되는 VLM으로 데모를 실행하세요

사용 전 알아둘 점

  • 일부 VLM은 특정 transformers 버전이 필요하므로 설정 시 버전을 고정해야 할 수 있습니다.
  • 생성 기반 평가를 사용하므로 결과가 원본 논문에 보고된 수치와 다를 수 있습니다.

포함된 컬렉션

Claude Code 도구·스킬·플러그인컴퓨터 비전 라이브러리 및 도구

토픽

#evaluation#vision-language-model#multimodal#benchmark#llm#computer-vision#vqa#pytorch#chatgpt#claude

자주 묻는 질문

VLMEvalKit은(는) 무엇인가요?
다양한 멀티모달 벤치마크에서 대형 비전-언어 모델을 한 번의 명령으로 평가하는 오픈소스 툴킷입니다. VLMEvalKit(Python 패키지 이름: vlmeval)은 여러 이미지 및 비디오 벤치마크에서 대형 비전-언어 모델(LVLM)을 평가합니다. 지원되는 모델과 벤치마크를 지정해 명령 하나만 실행하면 데이터셋 다운로드, 전처리, 추론, 지표 계산을 툴킷이 처리하므로 여러 저장소에서 데이터를 따로 준비할 필요가 없습니다.
VLMEvalKit은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
VLMEvalKit은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
VLMEvalKit은(는) 아직 유지보수되고 있나요?
활발히 유지보수 중. VLMEvalKit의 마지막 커밋은 2026년 11월 6일입니다.
VLMEvalKit은(는) 어디에 사용할 수 있나요?
동일한 벤치마크에서 여러 비전-언어 모델의 성능을 비교합니다. 자체 개발한 멀티모달 모델을 기존 벤치마크로 평가합니다. 멀티모달 모델의 공개 리더보드 결과를 재현합니다. 분산 추론으로 대규모 사고형 모델 평가를 실행합니다.
VLMEvalKit는 어떻게 설치하나요?
설치 및 설정 방법은 QuickStart 가이드를 읽어보세요 Python에서 지원되는 VLM으로 데모를 실행하세요
VLMEvalKit은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/open-compass/VLMEvalKit

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트