Repolode
Enviar
Vchitect

Vchitect/VBench

Suíte de benchmark e toolkit de avaliação que pontua modelos generativos de texto para vídeo e imagem para vídeo em diversas dimensões de qualidade e semântica.

Ver no GitHubSite
Estrelas
1,827
Forks
135
Issues abertas
73
Último commit
há 2 meses

O que é?

VBench é uma suíte de benchmark para avaliar modelos generativos de vídeo. Ela organiza a qualidade da geração de vídeo em uma hierarquia de dimensões de avaliação, como consistência entre sujeito e fundo, cintilação temporal, suavidade do movimento, qualidade estética e de imagem, classe de objeto, ação humana e relações espaciais. Cada dimensão conta com um conjunto padrão de prompts e um método automatizado de avaliação, permitindo comparar diferentes modelos usando os mesmos casos de teste.

O repositório é a implementação de referência da série VBench, que também inclui VBench++ (imagem para vídeo, avaliação de vídeos longos e verificações de confiabilidade que abrangem imparcialidade, viés e segurança) e VBench-2.0, voltado à fidelidade intrínseca, como raciocínio de senso comum, física e movimento humano. O projeto é distribuído como pacote pip com uma ferramenta de linha de comando chamada `vbench`, oferece suporte à avaliação com várias GPUs e permite pontuar vídeos personalizados em várias dimensões.

O projeto também publica os vídeos amostrados usados no artigo, junto com listas de prompts e detalhes dos modelos, e mantém placares públicos para comparar modelos de geração de vídeo.

Recursos principais

  • 01Avalia modelos de texto para vídeo em 16 dimensões, como consistência do sujeito, suavidade do movimento e qualidade estética.
  • 02Oferece conjuntos padrão de prompts e métodos automatizados de avaliação para cada dimensão.
  • 03Permite pontuar vídeos e prompts personalizados em dimensões selecionadas.
  • 04Inclui módulos de avaliação de imagem para vídeo, vídeos longos e confiabilidade nos componentes do VBench++.
  • 05Pode ser instalado via pip e oferece uma CLI `vbench` e suporte à avaliação com várias GPUs.

Casos de uso

  • Comparar a qualidade dos resultados de diferentes modelos abertos ou comerciais de geração de vídeo usando um benchmark comum.
  • Avaliar seu próprio modelo de geração de vídeo em dimensões padrão antes de publicar os resultados.
  • Medir a consistência temporal e a qualidade do movimento de clipes gerados em um pipeline de pesquisa.
  • Avaliar a imparcialidade, o viés ou a segurança de modelos de geração de vídeo com os módulos de confiabilidade.

Início rápido

  1. 1

    Instale o pacote vbench pelo PyPI (consulte o selo do PyPI no README).

  2. 2

    Siga a seção Usage do README para avaliar os vídeos gerados.

Antes de usar

  • Alguns módulos do VBench++ ficam em pastas cujo nome contém 'beta' e podem ser menos estáveis que o conjunto principal.

Tópicos

#video-generation#benchmark#evaluation#text-to-video#image-to-video#generative-ai#python#aigc#dataset#evaluation-kit

Perguntas frequentes

O que é VBench?
Suíte de benchmark e toolkit de avaliação que pontua modelos generativos de texto para vídeo e imagem para vídeo em diversas dimensões de qualidade e semântica. VBench é uma suíte de benchmark para avaliar modelos generativos de vídeo. Ela organiza a qualidade da geração de vídeo em uma hierarquia de dimensões de avaliação, como consistência entre sujeito e fundo, cintilação temporal, suavidade do movimento, qualidade estética e de imagem, classe de objeto, ação humana e relações espaciais. Cada dimensão conta com um conjunto padrão de prompts e um método automatizado de avaliação, permitindo comparar diferentes modelos usando os mesmos casos de teste.
VBench é gratuito? Qual é a licença?
VBench é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
VBench ainda é mantido?
Atualizado nos últimos 6 meses. O último commit de VBench foi em 21 de ago. de 2026.
Para que posso usar VBench?
Comparar a qualidade dos resultados de diferentes modelos abertos ou comerciais de geração de vídeo usando um benchmark comum. Avaliar seu próprio modelo de geração de vídeo em dimensões padrão antes de publicar os resultados. Medir a consistência temporal e a qualidade do movimento de clipes gerados em um pipeline de pesquisa. Avaliar a imparcialidade, o viés ou a segurança de modelos de geração de vídeo com os módulos de confiabilidade.
Como instalar VBench?
Instale o pacote vbench pelo PyPI (consulte o selo do PyPI no README). Siga a seção Usage do README para avaliar os vídeos gerados.
Onde consigo VBench?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/Vchitect/VBench

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados