Repolode
Предложить
open-compass

open-compass/VLMEvalKit

Открытый инструментарий для оценки больших визуально-языковых моделей на множестве мультимодальных бенчмарков одной командой.

Открыть на GitHubСайт
Звёзды
4,475
Форки
789
Открытые issues
322
Последний коммит
20 часов назад

Что это?

VLMEvalKit (имя Python-пакета — vlmeval) оценивает большие визуально-языковые модели (LVLM) на различных бенчмарках для изображений и видео. Чтобы оценить поддерживаемую модель на поддерживаемом бенчмарке, достаточно выполнить одну команду: инструментарий сам скачает и подготовит датасет, запустит инференс и рассчитает метрики. Благодаря этому не нужно собирать данные из нескольких репозиториев.

Для всех моделей используется оценка на основе генерации, а результаты приводятся как с точным сопоставлением, так и с извлечением ответов с помощью LLM. Проект поддерживает множество моделей, включая коммерческие API, например GPT-4V и Gemini, и модели с открытым исходным кодом, например Qwen-VL, LLaVA и InternVL. Разработчики моделей могут добавить собственную модель, реализовав одну функцию generate_inner().

Проект публикует официальные лидерборды на Hugging Face и OpenCompass, а записи об оценках можно скачать. В инструкциях по настройке указаны конкретные версии transformers и torchvision для отдельных моделей.

Ключевые возможности

  • 01Запускает оценку LVLM на десятках бенчмарков для изображений и видео одной командой.
  • 02Автоматически скачивает и подготавливает данные, выполняет инференс и рассчитывает метрики.
  • 03Показывает результаты как при точном сопоставлении, так и при извлечении ответов с помощью LLM.
  • 04Поддерживает коммерческие API и широкий спектр визуально-языковых моделей с открытым исходным кодом.
  • 05Позволяет разработчикам добавить новую модель, реализовав одну функцию generate_inner().
  • 06Поддерживает распределённый инференс на нескольких узлах через LMDeploy или vLLM.

Сценарии использования

  • Сравнение нескольких визуально-языковых моделей на одном наборе бенчмарков.
  • Оценка собственной мультимодальной модели на проверенных бенчмарках.
  • Воспроизведение опубликованных результатов мультимодальных моделей в лидербордах.
  • Масштабная оценка моделей рассуждения с распределённым инференсом.

Быстрый старт

  1. 1

    Прочитайте руководство QuickStart по установке и настройке

  2. 2

    Запустите демонстрацию из Python с поддерживаемой VLM

Что важно знать

  • Для некоторых VLM требуются определённые версии transformers, поэтому при настройке может понадобиться зафиксировать версию.
  • Результаты могут отличаться от значений, указанных в исходных статьях, поскольку используется оценка на основе генерации.

В подборках

Инструменты, навыки и плагины для Claude CodeБиблиотеки и инструменты компьютерного зрения

Темы

#evaluation#vision-language-model#multimodal#benchmark#llm#computer-vision#vqa#pytorch#chatgpt#claude

Частые вопросы

Что такое VLMEvalKit?
Открытый инструментарий для оценки больших визуально-языковых моделей на множестве мультимодальных бенчмарков одной командой. VLMEvalKit (имя Python-пакета — vlmeval) оценивает большие визуально-языковые модели (LVLM) на различных бенчмарках для изображений и видео. Чтобы оценить поддерживаемую модель на поддерживаемом бенчмарке, достаточно выполнить одну команду: инструментарий сам скачает и подготовит датасет, запустит инференс и рассчитает метрики. Благодаря этому не нужно собирать данные из нескольких репозиториев.
VLMEvalKit можно использовать бесплатно? Какая у него лицензия?
VLMEvalKit распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
VLMEvalKit всё ещё поддерживается?
Активно поддерживается. Последний коммит в VLMEvalKit — 6 нояб. 2026 г..
Для чего можно использовать VLMEvalKit?
Сравнение нескольких визуально-языковых моделей на одном наборе бенчмарков. Оценка собственной мультимодальной модели на проверенных бенчмарках. Воспроизведение опубликованных результатов мультимодальных моделей в лидербордах. Масштабная оценка моделей рассуждения с распределённым инференсом.
Как установить VLMEvalKit?
Прочитайте руководство QuickStart по установке и настройке Запустите демонстрацию из Python с поддерживаемой VLM
Где скачать VLMEvalKit?
Исходный код и инструкции по установке — на GitHub: https://github.com/open-compass/VLMEvalKit

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты

EvolvingLMMs-Lab / lmms-eval

Единый инструментарий для оценки мультимодальных моделей на задачах с изображениями, видео и аудио: более 100 бенчмарков и свыше 30 бэкендов моделей.

ИИ и машинное обучение#multimodal#vision-language-model#benchmark
4,5 тыс.+12 за неделю686PythonOtherАктивно поддерживаетсяОбновлён 22 часа назад

EvolvingLMMs-Lab / NEO

NEO — семейство нативных моделей для работы с изображениями и текстом, которые обрабатывают пиксели и слова в единой плотной архитектуре без энкодера, с кодом для обучения и оценки.

ИИ и машинное обучение#vision-language-model#multimodal#encoder-free
920+10 за неделю33PythonApache-2.0Обновлён 15 часов назад