Repolode
Vchitect

Vchitect/VBench

Набор бенчмарков и инструментов оценки текстовых и графических моделей генерации видео по множеству аспектов качества и семантики.

Звёзды
1,827
Форки
135
Открытые issues
73
Последний коммит
2 месяца назад

Что это?

VBench — набор бенчмарков для оценки генеративных моделей видео. Он раскладывает качество генерации видео на иерархию измерений: согласованность объектов и фона, временное мерцание, плавность движения, эстетическое и визуальное качество, классы объектов, действия людей и пространственные отношения. Для каждого измерения предусмотрен стандартный набор промптов и метод автоматической оценки, благодаря чему разные модели можно сравнивать на одних и тех же тестовых примерах.

Репозиторий содержит эталонную реализацию серии VBench, в которую также входят VBench++ (генерация видео из изображений, оценка длинных видео и проверки надёжности, охватывающие справедливость, предвзятость и безопасность) и VBench-2.0, оценивающий внутреннюю достоверность, в том числе здравый смысл, физику и движения людей. VBench распространяется как pip-пакет с CLI-командой `vbench`, поддерживает оценку на нескольких GPU и позволяет оценивать пользовательские видео по нескольким измерениям.

В проекте также опубликованы видео, отобранные для статьи, списки промптов и сведения о моделях; кроме того, ведутся публичные таблицы лидеров для сравнения моделей генерации видео.

Ключевые возможности

  • 01Оценивает модели генерации видео по тексту по 16 измерениям, включая согласованность объектов, плавность движения и эстетическое качество.
  • 02Предоставляет стандартные наборы промптов и методы автоматической оценки для каждого измерения.
  • 03Позволяет оценивать пользовательские видео и промпты по выбранным измерениям.
  • 04Компоненты VBench++ включают модули оценки генерации видео из изображений, длинных видео и надёжности.
  • 05Устанавливается через pip, предоставляет CLI-команду `vbench` и поддерживает оценку на нескольких GPU.

Сценарии использования

  • Сравнение качества результатов разных открытых и коммерческих моделей генерации видео на общем бенчмарке.
  • Оценка собственной модели генерации видео по стандартным измерениям перед публикацией результатов.
  • Измерение временной согласованности и качества движения сгенерированных роликов в исследовательском конвейере.
  • Оценка справедливости, предвзятости и безопасности моделей генерации видео с помощью модулей проверки надёжности.

Быстрый старт

  1. 1

    Установите пакет vbench из PyPI (см. значок PyPI в README).

  2. 2

    Следуйте инструкциям из раздела Usage в README, чтобы оценить сгенерированные видео.

Что важно знать

  • Некоторые модули VBench++ находятся в папках, в названии которых есть «beta», поэтому они могут быть менее стабильными, чем основной набор.

Темы

Частые вопросы

Что такое VBench?
Набор бенчмарков и инструментов оценки текстовых и графических моделей генерации видео по множеству аспектов качества и семантики. VBench — набор бенчмарков для оценки генеративных моделей видео. Он раскладывает качество генерации видео на иерархию измерений: согласованность объектов и фона, временное мерцание, плавность движения, эстетическое и визуальное качество, классы объектов, действия людей и пространственные отношения. Для каждого измерения предусмотрен стандартный набор промптов и метод автоматической оценки, благодаря чему разные модели можно сравнивать на одних и тех же тестовых примерах.
VBench можно использовать бесплатно? Какая у него лицензия?
VBench распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
VBench всё ещё поддерживается?
Обновлялся за последние 6 месяцев. Последний коммит в VBench — 21 авг. 2026 г..
Для чего можно использовать VBench?
Сравнение качества результатов разных открытых и коммерческих моделей генерации видео на общем бенчмарке. Оценка собственной модели генерации видео по стандартным измерениям перед публикацией результатов. Измерение временной согласованности и качества движения сгенерированных роликов в исследовательском конвейере. Оценка справедливости, предвзятости и безопасности моделей генерации видео с помощью модулей проверки надёжности.
Как установить VBench?
Установите пакет vbench из PyPI (см. значок PyPI в README). Следуйте инструкциям из раздела Usage в README, чтобы оценить сгенерированные видео.
Где скачать VBench?
Исходный код и инструкции по установке — на GitHub: https://github.com/Vchitect/VBench

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты

Агентный фреймворк для создания видео: превращает идею, сценарий или роман в видео из нескольких сцен, координируя работу агентов по созданию сценария, раскадровки, персонажей и видео.

12,7 тыс.1,9 тыс.PythonMITОбновлён 20 дней назад