CVPR 2025 LiveCC 논문의 실시간 영상 해설을 생성하는 스트리밍 음성 전사 기반 학습 비디오 LLM입니다.
OpenImagingLab/FlashVSR
Python과 Wan 기반 모델로 실시간 업스케일링을 구현하는 원스텝 확산 기반 스트리밍 동영상 초해상도 프레임워크입니다.
- 스타
- 1,934
- 포크
- 163
- 열린 이슈
- 78
- 마지막 커밋
- 5일 전
어떤 프로젝트인가요?
FlashVSR은 확산 모델을 사용해 스트리밍 방식으로 동영상 프레임의 해상도를 높이는 프로젝트입니다. 기존 확산 기반 동영상 초해상도 방식은 실제 촬영 영상에서 거의 실시간으로 처리하기에는 너무 느리고 메모리를 많이 사용하며, 특히 초고해상도에서는 이런 한계가 두드러집니다.
이 프레임워크는 원스텝 스트리밍 추론을 지원하는 3단계 증류 파이프라인, 중복 연산을 줄이는 지역성 제약 희소 어텐션, 더 빠른 복원을 위한 소형 조건부 디코더를 결합합니다. 저자들은 단일 A100 GPU에서 768 × 1408 동영상을 약 17 FPS로 처리한다고 보고합니다. 저장소에는 Hugging Face에 호스팅된 v1 및 v1.1 모델 가중치를 위한 추론 스크립트와 full 및 tiny 변형, 긴 동영상용 스크립트가 포함되어 있습니다. 주로 4× 업스케일링에 최적화되어 있습니다.
설치하려면 Python 3.11, Block-Sparse Attention 백엔드 빌드, 가중치를 가져오기 위한 Git LFS가 필요합니다. 프로젝트 라이선스는 Apache-2.0입니다.
핵심 기능
- 01스트리밍 동영상 초해상도에 맞춰 설계된 원스텝 확산 추론.
- 02고해상도에서 연산량을 줄이는 지역성 제약 희소 어텐션.
- 03프레임을 더 빠르게 복원하는 소형 조건부 디코더.
- 04full, tiny 및 긴 동영상용 변형을 포함한 v1 및 v1.1 가중치 추론 스크립트.
- 05주로 4× 업스케일링에 최적화.
활용 사례
- 확산 모델 기반의 고품질 결과로 저해상도 동영상의 해상도 높이기.
- A100급 GPU에서 동영상 복원 실험 실행하기.
- 스트리밍 파이프라인으로 긴 동영상을 프레임 단위로 처리하기.
빠른 시작
- 1
저장소를 클론합니다
git clone https://github.com/OpenImagingLab/FlashVSR - 2
Python 종속성을 설치합니다(Python 3.11.13; Block-Sparse Attention도 README의 안내에 따라 별도로 빌드해야 합니다)
pip install -r requirements.txt - 3
Git LFS를 사용해 Hugging Face에서 권장 v1.1 모델 가중치를 다운로드합니다
git lfs clone https://huggingface.co/JunhaoZhuang/FlashVSR-v1.1 - 4
examples/WanVSR에서 v1.1 tiny 스크립트로 추론을 실행합니다
python infer_flashvsr_v1.1_tiny.py
사용 전 알아둘 점
- Block-Sparse Attention이 필요하며 빌드에는 많은 메모리가 필요합니다.
- 주로 NVIDIA A100/A800 및 H200에서 테스트되었습니다. RTX 40/50 시리즈와 같은 다른 GPU는 검증되지 않았습니다.
- 주로 4× 초해상도 전용으로 설계 및 최적화되었습니다.
토픽
자주 묻는 질문
- FlashVSR은(는) 무엇인가요?
- Python과 Wan 기반 모델로 실시간 업스케일링을 구현하는 원스텝 확산 기반 스트리밍 동영상 초해상도 프레임워크입니다. FlashVSR은 확산 모델을 사용해 스트리밍 방식으로 동영상 프레임의 해상도를 높이는 프로젝트입니다. 기존 확산 기반 동영상 초해상도 방식은 실제 촬영 영상에서 거의 실시간으로 처리하기에는 너무 느리고 메모리를 많이 사용하며, 특히 초고해상도에서는 이런 한계가 두드러집니다.
- FlashVSR은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
- FlashVSR은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
- FlashVSR은(는) 아직 유지보수되고 있나요?
- 활발히 유지보수 중. FlashVSR의 마지막 커밋은 2026년 10월 16일입니다.
- FlashVSR은(는) 어디에 사용할 수 있나요?
- 확산 모델 기반의 고품질 결과로 저해상도 동영상의 해상도 높이기. A100급 GPU에서 동영상 복원 실험 실행하기. 스트리밍 파이프라인으로 긴 동영상을 프레임 단위로 처리하기.
- FlashVSR는 어떻게 설치하나요?
- 저장소를 클론합니다: git clone https://github.com/OpenImagingLab/FlashVSR Python 종속성을 설치합니다(Python 3.11.13; Block-Sparse Attention도 README의 안내에 따라 별도로 빌드해야 합니다): pip install -r requirements.txt Git LFS를 사용해 Hugging Face에서 권장 v1.1 모델 가중치를 다운로드합니다: git lfs clone https://huggingface.co/JunhaoZhuang/FlashVSR-v1.1 examples/WanVSR에서 v1.1 tiny 스크립트로 추론을 실행합니다: python infer_flashvsr_v1.1_tiny.py
- FlashVSR은(는) 어디서 받을 수 있나요?
- 소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/OpenImagingLab/FlashVSR
요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.
관련 프로젝트
Ultralytics YOLO는 객체 탐지, 분할, 분류, 자세 추정, 추적 등을 지원하는 컴퓨터 비전용 Python 라이브러리입니다.
Ultralytics YOLOv5는 객체 탐지, 인스턴스 분할, 이미지 분류를 지원하며 학습과 내보내기를 제공하는 PyTorch 기반 컴퓨터 비전 툴킷입니다.
컴퓨터 비전 작업을 위한 이미지 모델 아키텍처, 사전 학습 가중치, 학습·검증·내보내기 스크립트를 제공하는 PyTorch 라이브러리입니다.
A PyTorch library of pretrained diffusion models, noise schedulers and building blocks for image, video and audio generation.
저VRAM 추론과 학습을 지원하는 이미지·비디오·오디오 생성용 오픈소스 Diffusion 모델 엔진입니다.