Видео-LLM, обученная на потоковых транскрипциях речи и создающая комментарии к видео в реальном времени; проект основан на статье LiveCC, представленной на CVPR 2025.
OpenImagingLab/FlashVSR
Фреймворк потокового видеосуперразрешения на основе диффузии, выполняющий апскейл за один шаг; построен на Python и моделях на базе Wan.
- Звёзды
- 1,934
- Форки
- 163
- Открытые issues
- 78
- Последний коммит
- 4 дня назад
Что это?
FlashVSR — проект для видеосуперразрешения, использующий диффузионные модели для потокового апскейла видеокадров. Он рассчитан на реальные видеозаписи, для которых более ранние подходы к VSR на основе диффузии слишком медленные и требовательные к памяти, чтобы работать почти в реальном времени, особенно при сверхвысоком разрешении.
Фреймворк объединяет трёхэтапный конвейер дистилляции, обеспечивающий потоковый инференс за один шаг, разреженное внимание с ограничением по локальности, сокращающее избыточные вычисления, и небольшой условный декодер для более быстрой реконструкции. Авторы сообщают о скорости около 17 FPS для видео размером 768 × 1408 на одном GPU A100. В репозитории есть скрипты инференса для весов моделей v1 и v1.1, размещённых на Hugging Face: доступны полная и компактная версии, а также скрипт для длинных видео. Проект в первую очередь оптимизирован для апскейла в 4 раза.
Для настройки нужны Python 3.11, сборка бэкенда Block-Sparse Attention и Git LFS для загрузки весов. Проект распространяется по лицензии Apache-2.0.
Ключевые возможности
- 01Диффузионный инференс за один шаг для потокового видеосуперразрешения.
- 02Разреженное внимание с ограничением по локальности для сокращения вычислений при высоком разрешении.
- 03Компактный условный декодер для более быстрой реконструкции кадров.
- 04Скрипты инференса для весов v1 и v1.1, включая полную и компактную версии, а также вариант для длинных видео.
- 05В первую очередь оптимизирован для апскейла в 4 раза.
Сценарии использования
- Апскейл видеозаписей с низким разрешением для повышения разрешения с качеством диффузионных моделей.
- Проведение экспериментов по восстановлению видео на GPU класса A100.
- Покадровая обработка длинных видео с помощью потокового конвейера.
Быстрый старт
- 1
Клонируйте репозиторий
git clone https://github.com/OpenImagingLab/FlashVSR - 2
Установите зависимости Python (Python 3.11.13; Block-Sparse Attention также нужно отдельно собрать по инструкциям в README)
pip install -r requirements.txt - 3
Загрузите рекомендованные веса модели v1.1 с Hugging Face с помощью Git LFS
git lfs clone https://huggingface.co/JunhaoZhuang/FlashVSR-v1.1 - 4
Запустите инференс из examples/WanVSR с помощью скрипта v1.1 tiny
python infer_flashvsr_v1.1_tiny.py
Что важно знать
- Block-Sparse Attention обязателен, а его сборка требует много памяти.
- В основном тестировалось на NVIDIA A100/A800 и H200; работа на других GPU, например серий RTX 40/50, не проверена.
- В первую очередь разработано и оптимизировано только для суперразрешения 4×.
Темы
Частые вопросы
- Что такое FlashVSR?
- Фреймворк потокового видеосуперразрешения на основе диффузии, выполняющий апскейл за один шаг; построен на Python и моделях на базе Wan. FlashVSR — проект для видеосуперразрешения, использующий диффузионные модели для потокового апскейла видеокадров. Он рассчитан на реальные видеозаписи, для которых более ранние подходы к VSR на основе диффузии слишком медленные и требовательные к памяти, чтобы работать почти в реальном времени, особенно при сверхвысоком разрешении.
- FlashVSR можно использовать бесплатно? Какая у него лицензия?
- FlashVSR распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
- FlashVSR всё ещё поддерживается?
- Активно поддерживается. Последний коммит в FlashVSR — 16 окт. 2026 г..
- Для чего можно использовать FlashVSR?
- Апскейл видеозаписей с низким разрешением для повышения разрешения с качеством диффузионных моделей. Проведение экспериментов по восстановлению видео на GPU класса A100. Покадровая обработка длинных видео с помощью потокового конвейера.
- Как установить FlashVSR?
- Клонируйте репозиторий: git clone https://github.com/OpenImagingLab/FlashVSR Установите зависимости Python (Python 3.11.13; Block-Sparse Attention также нужно отдельно собрать по инструкциям в README): pip install -r requirements.txt Загрузите рекомендованные веса модели v1.1 с Hugging Face с помощью Git LFS: git lfs clone https://huggingface.co/JunhaoZhuang/FlashVSR-v1.1 Запустите инференс из examples/WanVSR с помощью скрипта v1.1 tiny: python infer_flashvsr_v1.1_tiny.py
- Где скачать FlashVSR?
- Исходный код и инструкции по установке — на GitHub: https://github.com/OpenImagingLab/FlashVSR
Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.
Похожие проекты
Ultralytics YOLOv5 — библиотека компьютерного зрения на базе PyTorch для детекции объектов, сегментации экземпляров и классификации изображений, с обучением и экспортом моделей.
Движок с открытым исходным кодом для генерации изображений, видео и аудио с помощью Diffusion-моделей; поддерживает инференс и обучение при небольшом объёме VRAM.
Библиотека для PyTorch с методами CAM, которые визуализируют области изображения, влияющие на предсказания модели компьютерного зрения.
Комплексный набор инструментов для дообучения диффузионных моделей изображений, видео и аудио на потребительских GPU через веб-интерфейс или CLI.
Open-source toolkit для оптимизации и развертывания моделей deep learning для инференса на процессорах, GPU и NPU Intel.