Suite de benchmarks y herramientas de evaluación que puntúa modelos generativos de texto a video e imagen a video en diversas dimensiones de calidad y semántica.
VBench es una suite de benchmarks para evaluar modelos generativos de video. Divide la calidad de la generación de video en una jerarquía de dimensiones de evaluación, como la coherencia del sujeto y el fondo, el parpadeo temporal, la fluidez del movimiento, la calidad estética y de imagen, la clase de objeto, la acción humana y las relaciones espaciales. Cada dimensión incluye una suite de prompts estándar y un método de evaluación automatizado, para poder comparar distintos modelos con los mismos casos de prueba.
El repositorio es la implementación de referencia de la serie VBench, que también incluye VBench++ (imagen a video, evaluación de videos largos y comprobaciones de confiabilidad que abarcan equidad, sesgo y seguridad) y VBench-2.0, centrado en la fidelidad intrínseca, por ejemplo, el razonamiento de sentido común, la física y el movimiento humano. Se distribuye como paquete de pip con una herramienta de línea de comandos llamada `vbench`, admite evaluaciones con varias GPU y puede puntuar videos personalizados en varias dimensiones.
El proyecto también publica los videos muestreados que se usaron en su artículo, junto con listas de prompts e información de los modelos, y mantiene tablas de clasificación públicas para comparar modelos de generación de video.
Instala el paquete vbench desde PyPI (consulta la insignia de PyPI en el README).
Sigue la sección Usage del README para evaluar los videos que hayas generado.
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Modelos generativos de video de código abierto y gran escala para crear videos a partir de texto, imágenes o audio, y animar personajes.
Framework de Python que evalúa LLMs haciéndolos jugar a Bulls and Cows mediante proveedores compatibles con LiteLLM.
Plataforma visual para crear, probar y desplegar agentes y flujos de trabajo de IA, con exposición integrada mediante API y servidor MCP.
Plataforma open source de observabilidad y evaluación de LLM para rastrear agentes de IA, puntuar sus resultados, gestionar prompts y monitorizar sistemas en producción.
Framework de Python de Google, centrado en el código, para crear, evaluar y desplegar agentes de IA; optimizado para Gemini, pero independiente del modelo.
Framework agéntico de generación de video que convierte una idea, un guion o una novela en un video con varios planos mediante agentes coordinados.