Un LLM de video entrenado con transcripciones de voz en streaming que genera comentarios en tiempo real sobre videos en vivo, presentado en el artículo LiveCC de CVPR 2025.
48059PythonSin licenciaActualizado hace 12 meses
OpenImagingLab/FlashVSR
Framework de superresolución de video por difusión en streaming y de un solo paso, pensado para el escalado en tiempo real, basado en Python y modelos Wan.
- Estrellas
- 1,934
- Forks
- 163
- Issues abiertos
- 78
- Último commit
- hace 4 días
¿Qué es?
FlashVSR es un proyecto de superresolución de video que usa modelos de difusión para escalar fotogramas en streaming. Está diseñado para metraje del mundo real, donde los enfoques de superresolución de video basados en difusión anteriores son demasiado lentos y consumen demasiada memoria para funcionar casi en tiempo real, especialmente con resoluciones ultraaltas.
El framework combina un pipeline de destilación de tres etapas que permite la inferencia en streaming de un solo paso, atención dispersa restringida por localidad que reduce los cálculos redundantes y un pequeño decodificador condicional para reconstruir más rápido. Los autores reportan aproximadamente 17 FPS en videos de 768 × 1408 con una sola GPU A100. El repositorio incluye scripts de inferencia para los pesos de los modelos v1 y v1.1 alojados en Hugging Face, con variantes full y tiny, además de un script para videos largos. Está optimizado principalmente para escalar 4×.
La configuración requiere Python 3.11, una compilación del backend Block-Sparse Attention y Git LFS para descargar los pesos. El proyecto usa la licencia Apache-2.0.
Funciones clave
- 01Inferencia por difusión de un solo paso, diseñada para la superresolución de video en streaming.
- 02Atención dispersa restringida por localidad para reducir los cálculos en resoluciones altas.
- 03Decodificador condicional tiny para reconstruir fotogramas más rápido.
- 04Scripts de inferencia para los pesos v1 y v1.1, con variantes full, tiny y para videos largos.
- 05Optimizado principalmente para escalar 4×.
Casos de uso
- Escalar metraje de video de baja resolución a resoluciones más altas con calidad basada en difusión.
- Realizar experimentos de restauración de video en GPU de clase A100.
- Procesar videos largos fotograma a fotograma con un pipeline de streaming.
Inicio rápido
- 1
Clona el repositorio
git clone https://github.com/OpenImagingLab/FlashVSR - 2
Instala las dependencias de Python (Python 3.11.13; compila también Block-Sparse Attention por separado siguiendo el README)
pip install -r requirements.txt - 3
Descarga los pesos recomendados del modelo v1.1 desde Hugging Face con Git LFS
git lfs clone https://huggingface.co/JunhaoZhuang/FlashVSR-v1.1 - 4
Ejecuta la inferencia desde examples/WanVSR con el script v1.1 tiny
python infer_flashvsr_v1.1_tiny.py
Antes de usarlo
- Block-Sparse Attention es obligatorio y su compilación requiere mucha memoria.
- Se ha probado principalmente en NVIDIA A100/A800 y H200; no se ha verificado en otras GPU, como las series RTX 40/50.
- Está diseñado y optimizado principalmente para superresolución de 4×.
Temas
Preguntas frecuentes
- ¿Qué es FlashVSR?
- Framework de superresolución de video por difusión en streaming y de un solo paso, pensado para el escalado en tiempo real, basado en Python y modelos Wan. FlashVSR es un proyecto de superresolución de video que usa modelos de difusión para escalar fotogramas en streaming. Está diseñado para metraje del mundo real, donde los enfoques de superresolución de video basados en difusión anteriores son demasiado lentos y consumen demasiada memoria para funcionar casi en tiempo real, especialmente con resoluciones ultraaltas.
- ¿FlashVSR es gratuito? ¿Qué licencia tiene?
- FlashVSR es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿FlashVSR sigue mantenido?
- Mantenimiento activo. El último commit de FlashVSR fue el 16 oct 2026.
- ¿Para qué puedo usar FlashVSR?
- Escalar metraje de video de baja resolución a resoluciones más altas con calidad basada en difusión. Realizar experimentos de restauración de video en GPU de clase A100. Procesar videos largos fotograma a fotograma con un pipeline de streaming.
- ¿Cómo se instala FlashVSR?
- Clona el repositorio: git clone https://github.com/OpenImagingLab/FlashVSR Instala las dependencias de Python (Python 3.11.13; compila también Block-Sparse Attention por separado siguiendo el README): pip install -r requirements.txt Descarga los pesos recomendados del modelo v1.1 desde Hugging Face con Git LFS: git lfs clone https://huggingface.co/JunhaoZhuang/FlashVSR-v1.1 Ejecuta la inferencia desde examples/WanVSR con el script v1.1 tiny: python infer_flashvsr_v1.1_tiny.py
- ¿Dónde consigo FlashVSR?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/OpenImagingLab/FlashVSR
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Ultralytics YOLOv5 es un kit de herramientas de visión artificial basado en PyTorch para detectar objetos, segmentar instancias y clasificar imágenes, con funciones de entrenamiento y exportación.
58,2 mil17,5 milPythonAGPL-3.0Actualizado anteayer
Motor open source de modelos de difusión para generar imágenes, video y audio, con inferencia y entrenamiento en equipos con poca VRAM.
13,3 mil1,3 milPythonApache-2.0Actualizado hace 7 horas
Una biblioteca de PyTorch que implementa métodos de mapas de activación de clases (CAM) para visualizar qué regiones de una imagen impulsan las predicciones de un modelo de visión artificial.
13 mil1,7 milPythonMITActualizado hace 2 meses
Suite integral para ajustar modelos de difusión de imagen, video y audio en GPU de consumo, desde una interfaz web o la CLI.
12,4 mil1,6 milPythonMITActualizado hace 24 horas
Toolkit de código abierto para optimizar e implementar modelos de deep learning para inferencia en CPU, GPU y NPU de Intel.
11 mil3,5 milC++Apache-2.0Actualizado hace 6 horas