Repolode
제출하기
vipshop

vipshop/cache-dit

Diffusers를 기반으로 캐싱, 병렬 처리, 양자화, CPU 오프로딩을 추가한 Diffusion Transformer(DiT)용 PyTorch 추론 엔진입니다.

GitHub에서 보기웹사이트
스타
1,290
포크
92
열린 이슈
88
마지막 커밋
6시간 전

어떤 프로젝트인가요?

Cache-DiT는 Hugging Face Diffusers 라이브러리를 기반으로 구축된 PyTorch 네이티브 추론 엔진으로, Diffusion Transformer(DiT)를 지원합니다. 하이브리드 캐싱(DBCache, TaylorSeer, SCM 및 관련 기법)으로 중간 계산 결과를 재사용하고, Context Parallelism, Tensor Parallelism, 하이브리드 2D 또는 3D 병렬 처리로 여러 GPU에 작업을 분산해 이미지, 비디오, 오디오 디퓨전 파이프라인에서 시간이 오래 걸리는 디노이징 단계를 가속합니다.

이 프로젝트는 FLUX, Qwen-Image, Wan, HunyuanVideo, LTX 계열을 비롯한 다양한 Diffusers 파이프라인을 지원하며, torch.compile, W8A8 및 W4A4 같은 양자화, 레이어별 CPU 오프로딩과 호환됩니다. NVIDIA GPU, Ascend NPU, AMD GPU에서 실행되며 SGLang Diffusion, vLLM-Omni, ComfyUI 같은 프로젝트와도 연동됩니다.

DiT 기반 생성 모델을 서비스하거나 실험하는 개발자는 기존 Diffusers 파이프라인을 감싸는 코드를 몇 줄 추가해 지연 시간을 줄이거나 제한된 하드웨어에서 더 큰 모델을 실행할 수 있습니다.

핵심 기능

  • 01DBCache, TaylorSeer, SCM 기법을 활용한 하이브리드 캐싱 가속.
  • 02여러 GPU에 걸친 Context, Tensor 및 하이브리드 2D/3D 병렬 처리.
  • 03W8A8 및 W4A4를 포함한 양자화 지원.
  • 04오버헤드가 낮은 레이어별 CPU 오프로딩.
  • 05torch.compile과 연동되며 Diffusers의 거의 모든 DiT 파이프라인을 지원.

활용 사례

  • 서비스 환경에서 FLUX 또는 Qwen-Image의 텍스트-이미지 생성을 가속.
  • GPU 메모리가 제한된 환경에서 Wan 또는 HunyuanVideo 같은 대형 비디오 DiT 모델 실행.
  • 기존 Diffusers 파이프라인에 멀티 GPU 병렬 처리 추가.
  • ComfyUI 또는 SGLang 기반 서비스에 더 빠른 DiT 추론 통합.

토픽

#pytorch#diffusion-models#dit#inference#model-optimization#quantization#parallelism#diffusers#flux2-klein#flux3

자주 묻는 질문

cache-dit은(는) 무엇인가요?
Diffusers를 기반으로 캐싱, 병렬 처리, 양자화, CPU 오프로딩을 추가한 Diffusion Transformer(DiT)용 PyTorch 추론 엔진입니다. Cache-DiT는 Hugging Face Diffusers 라이브러리를 기반으로 구축된 PyTorch 네이티브 추론 엔진으로, Diffusion Transformer(DiT)를 지원합니다. 하이브리드 캐싱(DBCache, TaylorSeer, SCM 및 관련 기법)으로 중간 계산 결과를 재사용하고, Context Parallelism, Tensor Parallelism, 하이브리드 2D 또는 3D 병렬 처리로 여러 GPU에 작업을 분산해 이미지, 비디오, 오디오 디퓨전 파이프라인에서 시간이 오래 걸리는 디노이징 단계를 가속합니다.
cache-dit은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
cache-dit은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
cache-dit은(는) 아직 유지보수되고 있나요?
활발히 유지보수 중. cache-dit의 마지막 커밋은 2026년 10월 21일입니다.
cache-dit은(는) 어디에 사용할 수 있나요?
서비스 환경에서 FLUX 또는 Qwen-Image의 텍스트-이미지 생성을 가속. GPU 메모리가 제한된 환경에서 Wan 또는 HunyuanVideo 같은 대형 비디오 DiT 모델 실행. 기존 Diffusers 파이프라인에 멀티 GPU 병렬 처리 추가. ComfyUI 또는 SGLang 기반 서비스에 더 빠른 DiT 추론 통합.
cache-dit은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/vipshop/cache-dit

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트