基于流式语音转写训练的视频大模型,可对视频进行实时解说,对应 CVPR 2025 论文 LiveCC。
OpenImagingLab/FlashVSR
基于扩散模型的一步式流式视频超分辨率框架,面向实时视频放大。
- Star
- 1,934
- Fork
- 163
- 未关闭 Issue
- 78
- 最近提交
- 4天前
这是什么?
FlashVSR 是一个基于扩散模型的视频超分辨率项目,以流式方式逐段放大视频画面。早期的扩散类视频超分方法在超高分辨率下延迟高、显存占用大,难以接近实时运行,这个项目正是针对这一问题。
它的核心由三部分组成:三阶段蒸馏训练流程,使模型可以用一步完成流式推理;局部约束稀疏注意力,减少冗余计算;以及一个小型条件解码器,加快重建速度。作者给出的数据显示,在单张 A100 上处理 768 × 1408 视频约可达 17 FPS。仓库提供 v1 与 v1.1 两个版本的推理脚本,包含完整版、轻量版和长视频版本,模型权重托管在 Hugging Face。项目主要针对 4 倍放大场景做了优化。
运行前需要 Python 3.11、编译 Block-Sparse Attention 后端,并通过 Git LFS 下载权重。项目采用 Apache-2.0 许可证。
核心功能
- 01面向流式视频超分的一步式扩散推理。
- 02局部约束稀疏注意力,降低高分辨率下的计算量。
- 03小型条件解码器,加快画面重建。
- 04提供 v1 与 v1.1 权重的推理脚本,包括完整版、轻量版和长视频版。
- 05主要针对 4 倍放大场景优化。
适用场景
- 借助扩散模型的画质,把低分辨率视频放大到更高分辨率。
- 在 A100 等数据中心 GPU 上进行视频修复实验。
- 用流式流程逐帧处理较长的视频。
快速上手
- 1
克隆仓库
git clone https://github.com/OpenImagingLab/FlashVSR - 2
安装 Python 依赖(需 Python 3.11.13;另需按 README 单独编译 Block-Sparse Attention)
pip install -r requirements.txt - 3
用 Git LFS 从 Hugging Face 下载推荐的 v1.1 模型权重
git lfs clone https://huggingface.co/JunhaoZhuang/FlashVSR-v1.1 - 4
进入 examples/WanVSR 目录,运行 v1.1 tiny 推理脚本
python infer_flashvsr_v1.1_tiny.py
使用前须知
- 必须安装 Block-Sparse Attention,且编译过程占用内存较大。
- 主要在 NVIDIA A100/A800 和 H200 上测试,RTX 40/50 系列等其他显卡兼容性未知。
- 主要针对 4× 超分辨率设计和优化,其他倍数效果不保证。
标签
常见问题
- FlashVSR 是什么?
- 基于扩散模型的一步式流式视频超分辨率框架,面向实时视频放大。 FlashVSR 是一个基于扩散模型的视频超分辨率项目,以流式方式逐段放大视频画面。早期的扩散类视频超分方法在超高分辨率下延迟高、显存占用大,难以接近实时运行,这个项目正是针对这一问题。
- FlashVSR 可以免费使用吗?用的什么许可证?
- FlashVSR 以 Apache-2.0 许可证开源。用于商业产品前,请先确认许可证条款。
- FlashVSR 还在维护吗?
- 活跃维护中。FlashVSR 最近一次提交是在 2026年10月16日。
- FlashVSR 适合用来做什么?
- 借助扩散模型的画质,把低分辨率视频放大到更高分辨率。 在 A100 等数据中心 GPU 上进行视频修复实验。 用流式流程逐帧处理较长的视频。
- FlashVSR 怎么安装和运行?
- 克隆仓库: git clone https://github.com/OpenImagingLab/FlashVSR 安装 Python 依赖(需 Python 3.11.13;另需按 README 单独编译 Block-Sparse Attention): pip install -r requirements.txt 用 Git LFS 从 Hugging Face 下载推荐的 v1.1 模型权重: git lfs clone https://huggingface.co/JunhaoZhuang/FlashVSR-v1.1 进入 examples/WanVSR 目录,运行 v1.1 tiny 推理脚本: python infer_flashvsr_v1.1_tiny.py
- 在哪里获取 FlashVSR?
- 源代码和安装说明在 GitHub 上:https://github.com/OpenImagingLab/FlashVSR
概要由 AI 根据项目 README 生成;GitHub 数据每日更新。
相关项目
基于 PyTorch 的计算机视觉工具库,支持目标检测、实例分割和图像分类的训练与模型导出。
面向图像、视频和音频生成的开源 Diffusion 模型引擎,支持低显存推理与训练。
基于 PyTorch 的类激活图(CAM)方法库,用于可视化视觉模型做出预测时关注的图像区域。
面向扩散模型微调的一体化训练套件,支持图像、视频和音频模型,可通过 Web UI 或命令行使用。
开源深度学习推理工具包,用于优化模型并部署到 Intel CPU、GPU 和 NPU 上运行。