EvolvingLMMs-Lab/lmms-eval

Что это?

Ключевые возможности

• 01Запускает более 100 бенчмарков для изображений, видео и аудио через единый пайплайн.
• 02Поддерживает более 30 семейств моделей и конечные точки API, совместимые с OpenAI.
• 03Интегрируется с vLLM и SGLang для оценки через серверы инференса.
• 04Предоставляет веб-интерфейс для настройки запусков и просмотра сохранённых результатов.
• 05Включает HTTP-сервер оценки с асинхронной очередью заданий.
• 06Позволяет добавлять собственные задачи с помощью YAML и функции формирования сообщений.

Сценарии использования

• Сравнение мультимодальной модели на стандартных бенчмарках для изображений или видео.
• Автоматическая оценка чекпойнтов во время обучения модели.
• Сравнение моделей, доступных через API, например GPT-4o, с моделями с открытыми весами.
• Добавление внутреннего датасета для оценки в общий воспроизводимый пайплайн.

Быстрый старт

1. 1

   Клонируйте репозиторий

   git clone https://github.com/EvolvingLMMs-Lab/lmms-eval.git
2. 2

   Установите пакет в редактируемом режиме с помощью uv

   cd lmms-eval && uv pip install -e ".[all]"
3. 3

   Запустите быструю оценку (Qwen2.5-VL на MME, 8 образцов)

   python -m lmms_eval --model qwen2_5_vl --model_args pretrained=Qwen/Qwen2.5-VL-3B-Instruct --tasks mme --batch_size 1 --limit 8

Что важно знать

• !В метаданных не указана однозначная лицензия (NOASSERTION), поэтому перед повторным использованием проверьте условия лицензии.
• !Для некоторых задач нужны API-ключи, например OpenAI или Reka, а для некоторых задач по созданию подписей требуется установленная Java 8.
• !Для запуска оценок на локальных моделях обычно требуются GPU и большой набор зависимостей.

В подборках

Темы

Частые вопросы

Что такое lmms-eval?

Единый инструментарий для оценки мультимодальных моделей на задачах с изображениями, видео и аудио: более 100 бенчмарков и свыше 30 бэкендов моделей. lmms-eval — инструментарий для оценки больших мультимодальных моделей. Он проверяет модель на общем наборе бенчмарков, охватывающих понимание изображений, видео и аудио. Благодаря этому команды могут сравнивать результаты на одинаковых задачах по единому пайплайну, не собирая воедино разрозненные датасеты и скрипты постобработки.

lmms-eval можно использовать бесплатно? Какая у него лицензия?

lmms-eval распространяется с открытым исходным кодом под лицензией Other. Перед использованием в коммерческих продуктах проверьте условия лицензии.

lmms-eval всё ещё поддерживается?

Активно поддерживается. Последний коммит в lmms-eval — 7 нояб. 2026 г..

Для чего можно использовать lmms-eval?

Сравнение мультимодальной модели на стандартных бенчмарках для изображений или видео. Автоматическая оценка чекпойнтов во время обучения модели. Сравнение моделей, доступных через API, например GPT-4o, с моделями с открытыми весами. Добавление внутреннего датасета для оценки в общий воспроизводимый пайплайн.

Как установить lmms-eval?

Клонируйте репозиторий: git clone https://github.com/EvolvingLMMs-Lab/lmms-eval.git Установите пакет в редактируемом режиме с помощью uv: cd lmms-eval && uv pip install -e ".[all]" Запустите быструю оценку (Qwen2.5-VL на MME, 8 образцов): python -m lmms_eval --model qwen2_5_vl --model_args pretrained=Qwen/Qwen2.5-VL-3B-Instruct --tasks mme --batch_size 1 --limit 8

Где скачать lmms-eval?

Исходный код и инструкции по установке — на GitHub: https://github.com/EvolvingLMMs-Lab/lmms-eval