Repolode
OpenImagingLab

OpenImagingLab/FlashVSR

基于扩散模型的一步式流式视频超分辨率框架,面向实时视频放大。

Star
1,934
Fork
163
未关闭 Issue
78
最近提交
4天前

这是什么?

FlashVSR 是一个基于扩散模型的视频超分辨率项目,以流式方式逐段放大视频画面。早期的扩散类视频超分方法在超高分辨率下延迟高、显存占用大,难以接近实时运行,这个项目正是针对这一问题。

它的核心由三部分组成:三阶段蒸馏训练流程,使模型可以用一步完成流式推理;局部约束稀疏注意力,减少冗余计算;以及一个小型条件解码器,加快重建速度。作者给出的数据显示,在单张 A100 上处理 768 × 1408 视频约可达 17 FPS。仓库提供 v1 与 v1.1 两个版本的推理脚本,包含完整版、轻量版和长视频版本,模型权重托管在 Hugging Face。项目主要针对 4 倍放大场景做了优化。

运行前需要 Python 3.11、编译 Block-Sparse Attention 后端,并通过 Git LFS 下载权重。项目采用 Apache-2.0 许可证。

核心功能

  • 01面向流式视频超分的一步式扩散推理。
  • 02局部约束稀疏注意力,降低高分辨率下的计算量。
  • 03小型条件解码器,加快画面重建。
  • 04提供 v1 与 v1.1 权重的推理脚本,包括完整版、轻量版和长视频版。
  • 05主要针对 4 倍放大场景优化。

适用场景

  • 借助扩散模型的画质,把低分辨率视频放大到更高分辨率。
  • 在 A100 等数据中心 GPU 上进行视频修复实验。
  • 用流式流程逐帧处理较长的视频。

快速上手

  1. 1

    克隆仓库

    git clone https://github.com/OpenImagingLab/FlashVSR
  2. 2

    安装 Python 依赖(需 Python 3.11.13;另需按 README 单独编译 Block-Sparse Attention)

    pip install -r requirements.txt
  3. 3

    用 Git LFS 从 Hugging Face 下载推荐的 v1.1 模型权重

    git lfs clone https://huggingface.co/JunhaoZhuang/FlashVSR-v1.1
  4. 4

    进入 examples/WanVSR 目录,运行 v1.1 tiny 推理脚本

    python infer_flashvsr_v1.1_tiny.py

使用前须知

  • 必须安装 Block-Sparse Attention,且编译过程占用内存较大。
  • 主要在 NVIDIA A100/A800 和 H200 上测试,RTX 40/50 系列等其他显卡兼容性未知。
  • 主要针对 4× 超分辨率设计和优化,其他倍数效果不保证。

标签

常见问题

FlashVSR 是什么?
基于扩散模型的一步式流式视频超分辨率框架,面向实时视频放大。 FlashVSR 是一个基于扩散模型的视频超分辨率项目,以流式方式逐段放大视频画面。早期的扩散类视频超分方法在超高分辨率下延迟高、显存占用大,难以接近实时运行,这个项目正是针对这一问题。
FlashVSR 可以免费使用吗?用的什么许可证?
FlashVSR 以 Apache-2.0 许可证开源。用于商业产品前,请先确认许可证条款。
FlashVSR 还在维护吗?
活跃维护中。FlashVSR 最近一次提交是在 2026年10月16日。
FlashVSR 适合用来做什么?
借助扩散模型的画质,把低分辨率视频放大到更高分辨率。 在 A100 等数据中心 GPU 上进行视频修复实验。 用流式流程逐帧处理较长的视频。
FlashVSR 怎么安装和运行?
克隆仓库: git clone https://github.com/OpenImagingLab/FlashVSR 安装 Python 依赖(需 Python 3.11.13;另需按 README 单独编译 Block-Sparse Attention): pip install -r requirements.txt 用 Git LFS 从 Hugging Face 下载推荐的 v1.1 模型权重: git lfs clone https://huggingface.co/JunhaoZhuang/FlashVSR-v1.1 进入 examples/WanVSR 目录,运行 v1.1 tiny 推理脚本: python infer_flashvsr_v1.1_tiny.py
在哪里获取 FlashVSR?
源代码和安装说明在 GitHub 上:https://github.com/OpenImagingLab/FlashVSR

概要由 AI 根据项目 README 生成;GitHub 数据每日更新。

相关项目