EvolvingLMMs-Lab/lmms-eval

这是什么？

核心功能

• 01通过统一流程运行 100 多个图像、视频和音频评测任务。
• 02支持 30 多个模型系列，并可接入 OpenAI 兼容的 API 接口。
• 03与 vLLM、SGLang 集成，支持基于推理服务的评测。
• 04提供 Web UI，用于配置评测和查看保存的结果。
• 05提供带异步任务队列的 HTTP 评测服务。
• 06支持通过 YAML 和消息构造函数添加自定义评测任务。

适用场景

• 将多模态模型与标准图像或视频评测集进行对比。
• 在模型训练过程中自动评估各个检查点。
• 将 GPT-4o 等 API 托管模型与开源权重模型放在一起评测。
• 把团队内部的评测数据集接入统一且可复现的评测流程。

快速上手

1. 1

   克隆代码仓库

   git clone https://github.com/EvolvingLMMs-Lab/lmms-eval.git
2. 2

   使用 uv 以可编辑模式安装

   cd lmms-eval && uv pip install -e ".[all]"
3. 3

   运行快速评测（Qwen2.5-VL 在 MME 上，8 个样本）

   python -m lmms_eval --model qwen2_5_vl --model_args pretrained=Qwen/Qwen2.5-VL-3B-Instruct --tasks mme --batch_size 1 --limit 8

使用前须知

• !元数据中没有明确的许可证（NOASSERTION），复用前请先确认许可条款。
• !部分任务需要 API 密钥（如 OpenAI、Reka），部分字幕类任务需要安装 Java 8。
• !在本地模型上运行评测通常需要 GPU 以及大量依赖。

收录于专题

标签

常见问题

lmms-eval 是什么？

面向图像、视频和音频任务的多模态模型统一评测工具包，内置 100 多个评测任务。 lmms-eval 是面向大型多模态模型的评测工具包，用同一套流程在图像、视频和音频理解任务上评估模型，方便团队在相同任务上比较结果，而不必自行拼凑分散的数据集和后处理脚本。

lmms-eval 可以免费使用吗？用的什么许可证？

lmms-eval 以 Other 许可证开源。用于商业产品前，请先确认许可证条款。

lmms-eval 还在维护吗？

活跃维护中。lmms-eval 最近一次提交是在 2026年11月6日。

lmms-eval 适合用来做什么？

将多模态模型与标准图像或视频评测集进行对比。 在模型训练过程中自动评估各个检查点。 将 GPT-4o 等 API 托管模型与开源权重模型放在一起评测。 把团队内部的评测数据集接入统一且可复现的评测流程。

lmms-eval 怎么安装和运行？

克隆代码仓库: git clone https://github.com/EvolvingLMMs-Lab/lmms-eval.git 使用 uv 以可编辑模式安装: cd lmms-eval && uv pip install -e ".[all]" 运行快速评测（Qwen2.5-VL 在 MME 上，8 个样本）: python -m lmms_eval --model qwen2_5_vl --model_args pretrained=Qwen/Qwen2.5-VL-3B-Instruct --tasks mme --batch_size 1 --limit 8

在哪里获取 lmms-eval？

源代码和安装说明在 GitHub 上：https://github.com/EvolvingLMMs-Lab/lmms-eval