Repolode
提交项目
Vchitect

Vchitect/VBench

用于评测文生视频与图生视频模型的基准套件与评估工具包，覆盖多项质量与语义维度。

在 GitHub 查看官网
Star
1,827
Fork
135
未关闭 Issue
73
最近提交
2个月前

这是什么？

VBench 是一套用于评测视频生成模型的基准套件。它把“视频生成质量”拆分为一组分层的评测维度，包括主体与背景一致性、时序闪烁、运动平滑度、美学与成像质量、物体类别、人物动作、空间关系等。每个维度都配有标准提示词集和自动化评测方法，便于在相同测试用例下比较不同模型。

该仓库是 VBench 系列的参考实现。系列中还包括 VBench++（覆盖图生视频、长视频评测以及涵盖公平性、偏见和安全性的可信度检测）和 VBench-2.0（关注常识推理、物理真实感、人体运动等内在一致性）。项目以 pip 包形式发布，提供 `vbench` 命令行工具，支持多 GPU 评测，也可以对自定义视频进行部分维度的打分。

项目还公开了论文中使用的采样视频、提示词列表和模型信息，并维护用于比较视频生成模型的公开排行榜。

核心功能

  • 01覆盖文生视频的 16 个评测维度，如主体一致性、运动平滑度、美学质量等。
  • 02为每个维度提供标准提示词集和自动化评测方法。
  • 03支持对选定维度使用自定义视频与提示词进行评测。
  • 04VBench++ 组件包含图生视频、长视频和可信度评测模块。
  • 05可通过 pip 安装，提供 `vbench` 命令行工具并支持多 GPU 评测。

适用场景

  • 在统一基准下比较不同视频生成模型的输出质量。
  • 发布结果前，用标准维度评估自研视频生成模型。
  • 在研究流程中衡量生成片段的时序一致性和运动质量。
  • 借助可信度模块评估视频生成模型的公平性、偏见与安全性。

快速上手

  1. 1

    从 PyPI 安装 vbench 包（参见 README 中的 PyPI 徽章）

  2. 2

    按照 README 中的 Usage 部分对生成的视频运行评测

使用前须知

  • 部分 VBench++ 模块位于名称含 'beta' 的目录中，稳定性可能不及核心套件。

标签

#video-generation#benchmark#evaluation#text-to-video#image-to-video#generative-ai#python#aigc#dataset#evaluation-kit

常见问题

VBench 是什么？
用于评测文生视频与图生视频模型的基准套件与评估工具包，覆盖多项质量与语义维度。 VBench 是一套用于评测视频生成模型的基准套件。它把“视频生成质量”拆分为一组分层的评测维度，包括主体与背景一致性、时序闪烁、运动平滑度、美学与成像质量、物体类别、人物动作、空间关系等。每个维度都配有标准提示词集和自动化评测方法，便于在相同测试用例下比较不同模型。
VBench 可以免费使用吗？用的什么许可证？
VBench 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。
VBench 还在维护吗？
半年内有更新。VBench 最近一次提交是在 2026年8月21日。
VBench 适合用来做什么？
在统一基准下比较不同视频生成模型的输出质量。 发布结果前，用标准维度评估自研视频生成模型。 在研究流程中衡量生成片段的时序一致性和运动质量。 借助可信度模块评估视频生成模型的公平性、偏见与安全性。
VBench 怎么安装和运行？
从 PyPI 安装 vbench 包（参见 README 中的 PyPI 徽章） 按照 README 中的 Usage 部分对生成的视频运行评测
在哪里获取 VBench？
源代码和安装说明在 GitHub 上：https://github.com/Vchitect/VBench

概要由 AI 根据项目 README 生成；GitHub 数据每日更新。

相关项目