Repolode
OpenImagingLab

OpenImagingLab/FlashVSR

Фреймворк потокового видеосуперразрешения на основе диффузии, выполняющий апскейл за один шаг; построен на Python и моделях на базе Wan.

Звёзды
1,934
Форки
163
Открытые issues
78
Последний коммит
4 дня назад

Что это?

FlashVSR — проект для видеосуперразрешения, использующий диффузионные модели для потокового апскейла видеокадров. Он рассчитан на реальные видеозаписи, для которых более ранние подходы к VSR на основе диффузии слишком медленные и требовательные к памяти, чтобы работать почти в реальном времени, особенно при сверхвысоком разрешении.

Фреймворк объединяет трёхэтапный конвейер дистилляции, обеспечивающий потоковый инференс за один шаг, разреженное внимание с ограничением по локальности, сокращающее избыточные вычисления, и небольшой условный декодер для более быстрой реконструкции. Авторы сообщают о скорости около 17 FPS для видео размером 768 × 1408 на одном GPU A100. В репозитории есть скрипты инференса для весов моделей v1 и v1.1, размещённых на Hugging Face: доступны полная и компактная версии, а также скрипт для длинных видео. Проект в первую очередь оптимизирован для апскейла в 4 раза.

Для настройки нужны Python 3.11, сборка бэкенда Block-Sparse Attention и Git LFS для загрузки весов. Проект распространяется по лицензии Apache-2.0.

Ключевые возможности

  • 01Диффузионный инференс за один шаг для потокового видеосуперразрешения.
  • 02Разреженное внимание с ограничением по локальности для сокращения вычислений при высоком разрешении.
  • 03Компактный условный декодер для более быстрой реконструкции кадров.
  • 04Скрипты инференса для весов v1 и v1.1, включая полную и компактную версии, а также вариант для длинных видео.
  • 05В первую очередь оптимизирован для апскейла в 4 раза.

Сценарии использования

  • Апскейл видеозаписей с низким разрешением для повышения разрешения с качеством диффузионных моделей.
  • Проведение экспериментов по восстановлению видео на GPU класса A100.
  • Покадровая обработка длинных видео с помощью потокового конвейера.

Быстрый старт

  1. 1

    Клонируйте репозиторий

    git clone https://github.com/OpenImagingLab/FlashVSR
  2. 2

    Установите зависимости Python (Python 3.11.13; Block-Sparse Attention также нужно отдельно собрать по инструкциям в README)

    pip install -r requirements.txt
  3. 3

    Загрузите рекомендованные веса модели v1.1 с Hugging Face с помощью Git LFS

    git lfs clone https://huggingface.co/JunhaoZhuang/FlashVSR-v1.1
  4. 4

    Запустите инференс из examples/WanVSR с помощью скрипта v1.1 tiny

    python infer_flashvsr_v1.1_tiny.py

Что важно знать

  • Block-Sparse Attention обязателен, а его сборка требует много памяти.
  • В основном тестировалось на NVIDIA A100/A800 и H200; работа на других GPU, например серий RTX 40/50, не проверена.
  • В первую очередь разработано и оптимизировано только для суперразрешения 4×.

Темы

Частые вопросы

Что такое FlashVSR?
Фреймворк потокового видеосуперразрешения на основе диффузии, выполняющий апскейл за один шаг; построен на Python и моделях на базе Wan. FlashVSR — проект для видеосуперразрешения, использующий диффузионные модели для потокового апскейла видеокадров. Он рассчитан на реальные видеозаписи, для которых более ранние подходы к VSR на основе диффузии слишком медленные и требовательные к памяти, чтобы работать почти в реальном времени, особенно при сверхвысоком разрешении.
FlashVSR можно использовать бесплатно? Какая у него лицензия?
FlashVSR распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
FlashVSR всё ещё поддерживается?
Активно поддерживается. Последний коммит в FlashVSR — 16 окт. 2026 г..
Для чего можно использовать FlashVSR?
Апскейл видеозаписей с низким разрешением для повышения разрешения с качеством диффузионных моделей. Проведение экспериментов по восстановлению видео на GPU класса A100. Покадровая обработка длинных видео с помощью потокового конвейера.
Как установить FlashVSR?
Клонируйте репозиторий: git clone https://github.com/OpenImagingLab/FlashVSR Установите зависимости Python (Python 3.11.13; Block-Sparse Attention также нужно отдельно собрать по инструкциям в README): pip install -r requirements.txt Загрузите рекомендованные веса модели v1.1 с Hugging Face с помощью Git LFS: git lfs clone https://huggingface.co/JunhaoZhuang/FlashVSR-v1.1 Запустите инференс из examples/WanVSR с помощью скрипта v1.1 tiny: python infer_flashvsr_v1.1_tiny.py
Где скачать FlashVSR?
Исходный код и инструкции по установке — на GitHub: https://github.com/OpenImagingLab/FlashVSR

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты

Ultralytics YOLOv5 — библиотека компьютерного зрения на базе PyTorch для детекции объектов, сегментации экземпляров и классификации изображений, с обучением и экспортом моделей.

58,2 тыс.17,5 тыс.PythonAGPL-3.0Обновлён позавчера

Движок с открытым исходным кодом для генерации изображений, видео и аудио с помощью Diffusion-моделей; поддерживает инференс и обучение при небольшом объёме VRAM.

13,3 тыс.1,3 тыс.PythonApache-2.0Обновлён 12 часов назад