Um LLM de vídeo treinado com transcrição de fala em streaming que gera comentários em tempo real sobre vídeos ao vivo, apresentado no artigo LiveCC da CVPR 2025.
48059PythonSem licençaAtualizado há 12 meses
OpenImagingLab/FlashVSR
Framework de super-resolução de vídeo por difusão em uma etapa, voltado ao upscaling em tempo real, desenvolvido em Python com modelos baseados em Wan.
- Estrelas
- 1,934
- Forks
- 163
- Issues abertas
- 78
- Último commit
- há 4 dias
O que é?
FlashVSR é um projeto de super-resolução de vídeo que usa modelos de difusão para aumentar a resolução de quadros de vídeo em fluxo contínuo. Ele foi desenvolvido para gravações do mundo real, nas quais abordagens anteriores de VSR baseadas em difusão são lentas demais e consomem memória demais para funcionar quase em tempo real, especialmente em resoluções ultr altas.
O framework combina um pipeline de destilação em três etapas, que permite inferência em fluxo contínuo em uma única etapa; atenção esparsa com restrição de localidade, que reduz cálculos redundantes; e um pequeno decoder condicional, para reconstrução mais rápida. Os autores relatam cerca de 17 FPS em vídeos de 768 × 1408 em uma única GPU A100. O repositório inclui scripts de inferência para os pesos dos modelos v1 e v1.1 hospedados no Hugging Face, com variantes full e tiny, além de um script para vídeos longos. A otimização é voltada principalmente ao upscaling de 4×.
A configuração requer Python 3.11, uma compilação do backend Block-Sparse Attention e Git LFS para baixar os pesos. O projeto usa a licença Apache-2.0.
Recursos principais
- 01Inferência por difusão em uma etapa, desenvolvida para super-resolução de vídeo em fluxo contínuo.
- 02Atenção esparsa com restrição de localidade para reduzir cálculos em altas resoluções.
- 03Decoder condicional tiny para reconstruir quadros mais rapidamente.
- 04Scripts de inferência para os pesos v1 e v1.1, incluindo variantes full, tiny e para vídeos longos.
- 05Otimizado principalmente para upscaling de 4×.
Casos de uso
- Aumentar a resolução de gravações de vídeo de baixa resolução, mantendo a qualidade baseada em difusão.
- Executar experimentos de restauração de vídeo em GPUs da classe A100.
- Processar vídeos longos quadro a quadro com um pipeline em fluxo contínuo.
Início rápido
- 1
Clone o repositório
git clone https://github.com/OpenImagingLab/FlashVSR - 2
Instale as dependências do Python (Python 3.11.13; compile também o Block-Sparse Attention separadamente, seguindo o README)
pip install -r requirements.txt - 3
Baixe os pesos recomendados do modelo v1.1 do Hugging Face com o Git LFS
git lfs clone https://huggingface.co/JunhaoZhuang/FlashVSR-v1.1 - 4
Execute a inferência em examples/WanVSR com o script v1.1 tiny
python infer_flashvsr_v1.1_tiny.py
Antes de usar
- O Block-Sparse Attention é obrigatório e sua compilação consome muita memória.
- Testado principalmente em NVIDIA A100/A800 e H200; outras GPUs, como as séries RTX 40/50, não foram verificadas.
- Projetado e otimizado principalmente para super-resolução de 4×.
Tópicos
Perguntas frequentes
- O que é FlashVSR?
- Framework de super-resolução de vídeo por difusão em uma etapa, voltado ao upscaling em tempo real, desenvolvido em Python com modelos baseados em Wan. FlashVSR é um projeto de super-resolução de vídeo que usa modelos de difusão para aumentar a resolução de quadros de vídeo em fluxo contínuo. Ele foi desenvolvido para gravações do mundo real, nas quais abordagens anteriores de VSR baseadas em difusão são lentas demais e consomem memória demais para funcionar quase em tempo real, especialmente em resoluções ultr altas.
- FlashVSR é gratuito? Qual é a licença?
- FlashVSR é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
- FlashVSR ainda é mantido?
- Manutenção ativa. O último commit de FlashVSR foi em 16 de out. de 2026.
- Para que posso usar FlashVSR?
- Aumentar a resolução de gravações de vídeo de baixa resolução, mantendo a qualidade baseada em difusão. Executar experimentos de restauração de vídeo em GPUs da classe A100. Processar vídeos longos quadro a quadro com um pipeline em fluxo contínuo.
- Como instalar FlashVSR?
- Clone o repositório: git clone https://github.com/OpenImagingLab/FlashVSR Instale as dependências do Python (Python 3.11.13; compile também o Block-Sparse Attention separadamente, seguindo o README): pip install -r requirements.txt Baixe os pesos recomendados do modelo v1.1 do Hugging Face com o Git LFS: git lfs clone https://huggingface.co/JunhaoZhuang/FlashVSR-v1.1 Execute a inferência em examples/WanVSR com o script v1.1 tiny: python infer_flashvsr_v1.1_tiny.py
- Onde consigo FlashVSR?
- O código-fonte e as instruções de instalação estão no GitHub: https://github.com/OpenImagingLab/FlashVSR
Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Projetos relacionados
Ultralytics YOLOv5, toolkit de visão computacional baseado em PyTorch para detecção de objetos, segmentação de instâncias e classificação de imagens, com recursos de treinamento e exportação.
58,2 mil17,5 milPythonAGPL-3.0Atualizado anteontem
Um mecanismo open source de modelos Diffusion para gerar imagens, vídeos e áudio, com suporte a inferência e treinamento com pouca VRAM.
13,3 mil1,3 milPythonApache-2.0Atualizado há 7 horas
Biblioteca PyTorch que implementa métodos de mapas de ativação de classe (CAM) para visualizar quais regiões da imagem influenciam as previsões de modelos de visão computacional.
13 mil1,7 milPythonMITAtualizado há 2 meses
Suite completa para ajustar modelos de difusão de imagem, vídeo e áudio em GPUs de consumo, pela interface web ou CLI.
12,4 mil1,6 milPythonMITAtualizado há 24 horas
Toolkit de código aberto para otimizar e implantar modelos de deep learning para inferência em CPUs, GPUs e NPUs Intel.
11 mil3,5 milC++Apache-2.0Atualizado há 6 horas