Repolode
提交项目
open-compass

open-compass/VLMEvalKit

一个开源工具包，可用一条命令在多个多模态基准上评测大型视觉语言模型。

在 GitHub 查看官网
Star
4,475
Fork
789
未关闭 Issue
322
最近提交
昨天

这是什么？

VLMEvalKit（Python 包名为 vlmeval）用于评测大型视觉语言模型（LVLM）在图像和视频基准上的表现。用户只需一条命令即可对已支持的模型运行已支持的基准，数据下载、预处理、推理和指标计算都由工具包完成，无需在多个仓库之间自行准备数据。

所有模型统一采用基于生成的评测方式，结果同时给出精确匹配和基于 LLM 的答案抽取两种结果。项目支持大量模型，既包括 GPT-4V、Gemini 等商业 API，也包括 Qwen-VL、LLaVA、InternVL 等开源模型。模型开发者只需实现一个 generate_inner() 函数，即可将自己的模型接入评测。

项目在 Hugging Face 和 OpenCompass 上发布了官方排行榜，并提供可下载的评测记录。部分模型对 transformers、torchvision 等依赖版本有特定要求，需要按说明配置。

核心功能

  • 01一条命令即可在数十个图像和视频基准上评测 LVLM。
  • 02自动完成数据下载、预处理、推理和指标计算。
  • 03同时输出精确匹配和基于 LLM 答案抽取的评测结果。
  • 04支持商业 API 和多种开源视觉语言模型。
  • 05开发者只需实现 generate_inner() 函数即可接入新模型。
  • 06可通过 LMDeploy 或 vLLM 进行多节点分布式推理。

适用场景

  • 在同一组基准上横向比较多个视觉语言模型。
  • 用成熟基准评测自研的多模态模型。
  • 复现已发布的多模态模型排行榜结果。
  • 借助分布式推理对推理型大模型进行大规模评测。

快速上手

  1. 1

    阅读快速开始指南进行安装和配置

  2. 2

    在 Python 中使用支持的 VLM 运行示例

使用前须知

  • 部分视觉语言模型需要特定版本的 transformers，安装时可能需要固定版本。
  • 由于采用基于生成的评估方式，结果可能与原论文报告的数字不同。

收录于专题

Claude Code 工具、技能与插件计算机视觉工具与库

标签

#evaluation#vision-language-model#multimodal#benchmark#llm#computer-vision#vqa#pytorch#chatgpt#claude

常见问题

VLMEvalKit 是什么？
一个开源工具包，可用一条命令在多个多模态基准上评测大型视觉语言模型。 VLMEvalKit（Python 包名为 vlmeval）用于评测大型视觉语言模型（LVLM）在图像和视频基准上的表现。用户只需一条命令即可对已支持的模型运行已支持的基准，数据下载、预处理、推理和指标计算都由工具包完成，无需在多个仓库之间自行准备数据。
VLMEvalKit 可以免费使用吗？用的什么许可证？
VLMEvalKit 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。
VLMEvalKit 还在维护吗？
活跃维护中。VLMEvalKit 最近一次提交是在 2026年11月6日。
VLMEvalKit 适合用来做什么？
在同一组基准上横向比较多个视觉语言模型。 用成熟基准评测自研的多模态模型。 复现已发布的多模态模型排行榜结果。 借助分布式推理对推理型大模型进行大规模评测。
VLMEvalKit 怎么安装和运行？
阅读快速开始指南进行安装和配置 在 Python 中使用支持的 VLM 运行示例
在哪里获取 VLMEvalKit？
源代码和安装说明在 GitHub 上：https://github.com/open-compass/VLMEvalKit

概要由 AI 根据项目 README 生成；GitHub 数据每日更新。

相关项目