Открытые крупномасштабные модели генерации видео: из текста, изображений и речи, а также для анимации персонажей.
Vchitect/VBench
Набор бенчмарков и инструментов оценки текстовых и графических моделей генерации видео по множеству аспектов качества и семантики.
- Звёзды
- 1,827
- Форки
- 135
- Открытые issues
- 73
- Последний коммит
- 2 месяца назад
Что это?
VBench — набор бенчмарков для оценки генеративных моделей видео. Он раскладывает качество генерации видео на иерархию измерений: согласованность объектов и фона, временное мерцание, плавность движения, эстетическое и визуальное качество, классы объектов, действия людей и пространственные отношения. Для каждого измерения предусмотрен стандартный набор промптов и метод автоматической оценки, благодаря чему разные модели можно сравнивать на одних и тех же тестовых примерах.
Репозиторий содержит эталонную реализацию серии VBench, в которую также входят VBench++ (генерация видео из изображений, оценка длинных видео и проверки надёжности, охватывающие справедливость, предвзятость и безопасность) и VBench-2.0, оценивающий внутреннюю достоверность, в том числе здравый смысл, физику и движения людей. VBench распространяется как pip-пакет с CLI-командой `vbench`, поддерживает оценку на нескольких GPU и позволяет оценивать пользовательские видео по нескольким измерениям.
В проекте также опубликованы видео, отобранные для статьи, списки промптов и сведения о моделях; кроме того, ведутся публичные таблицы лидеров для сравнения моделей генерации видео.
Ключевые возможности
- 01Оценивает модели генерации видео по тексту по 16 измерениям, включая согласованность объектов, плавность движения и эстетическое качество.
- 02Предоставляет стандартные наборы промптов и методы автоматической оценки для каждого измерения.
- 03Позволяет оценивать пользовательские видео и промпты по выбранным измерениям.
- 04Компоненты VBench++ включают модули оценки генерации видео из изображений, длинных видео и надёжности.
- 05Устанавливается через pip, предоставляет CLI-команду `vbench` и поддерживает оценку на нескольких GPU.
Сценарии использования
- Сравнение качества результатов разных открытых и коммерческих моделей генерации видео на общем бенчмарке.
- Оценка собственной модели генерации видео по стандартным измерениям перед публикацией результатов.
- Измерение временной согласованности и качества движения сгенерированных роликов в исследовательском конвейере.
- Оценка справедливости, предвзятости и безопасности моделей генерации видео с помощью модулей проверки надёжности.
Быстрый старт
- 1
Установите пакет vbench из PyPI (см. значок PyPI в README).
- 2
Следуйте инструкциям из раздела Usage в README, чтобы оценить сгенерированные видео.
Что важно знать
- Некоторые модули VBench++ находятся в папках, в названии которых есть «beta», поэтому они могут быть менее стабильными, чем основной набор.
Темы
Частые вопросы
- Что такое VBench?
- Набор бенчмарков и инструментов оценки текстовых и графических моделей генерации видео по множеству аспектов качества и семантики. VBench — набор бенчмарков для оценки генеративных моделей видео. Он раскладывает качество генерации видео на иерархию измерений: согласованность объектов и фона, временное мерцание, плавность движения, эстетическое и визуальное качество, классы объектов, действия людей и пространственные отношения. Для каждого измерения предусмотрен стандартный набор промптов и метод автоматической оценки, благодаря чему разные модели можно сравнивать на одних и тех же тестовых примерах.
- VBench можно использовать бесплатно? Какая у него лицензия?
- VBench распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
- VBench всё ещё поддерживается?
- Обновлялся за последние 6 месяцев. Последний коммит в VBench — 21 авг. 2026 г..
- Для чего можно использовать VBench?
- Сравнение качества результатов разных открытых и коммерческих моделей генерации видео на общем бенчмарке. Оценка собственной модели генерации видео по стандартным измерениям перед публикацией результатов. Измерение временной согласованности и качества движения сгенерированных роликов в исследовательском конвейере. Оценка справедливости, предвзятости и безопасности моделей генерации видео с помощью модулей проверки надёжности.
- Как установить VBench?
- Установите пакет vbench из PyPI (см. значок PyPI в README). Следуйте инструкциям из раздела Usage в README, чтобы оценить сгенерированные видео.
- Где скачать VBench?
- Исходный код и инструкции по установке — на GitHub: https://github.com/Vchitect/VBench
Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.
Похожие проекты
Python-фреймворк для сравнения LLM в игре «Быки и коровы» через совместимые с LiteLLM провайдеры.
Визуальная платформа для создания, тестирования и развертывания AI-агентов и рабочих процессов с поддержкой API и MCP-серверов.
Open-source платформа для наблюдаемости и оценки LLM: трассировка AI-агентов, оценка ответов, управление промптами и мониторинг в production.
Python-фреймворк от Google для создания, оценки и развертывания AI-агентов с упором на Gemini и поддержкой разных моделей.
Агентный фреймворк для создания видео: превращает идею, сценарий или роман в видео из нескольких сцен, координируя работу агентов по созданию сценария, раскадровки, персонажей и видео.