Repolode
提交项目
vipshop

vipshop/cache-dit

基于 PyTorch 的 DiT 推理引擎，在 Diffusers 之上提供缓存、并行、量化和 CPU 卸载加速。

在 GitHub 查看官网
Star
1,290
Fork
92
未关闭 Issue
88
最近提交
6小时前

这是什么？

Cache-DiT 是基于 Hugging Face Diffusers 构建的 PyTorch 原生推理引擎，面向 Diffusion Transformer（DiT）模型。它通过 DBCache、TaylorSeer、SCM 等混合缓存方法复用中间计算，并借助 Context Parallelism、Tensor Parallelism 以及 2D/3D 混合并行把计算分摊到多张 GPU 上，以缩短去噪过程的耗时。

项目覆盖大量 Diffusers 管线，包括 FLUX、Qwen-Image、Wan、HunyuanVideo、LTX 等系列。它兼容 torch.compile、W8A8 与 W4A4 等量化方式以及逐层 CPU 卸载，可运行于 NVIDIA GPU、昇腾 NPU 和 AMD GPU，并已接入 SGLang Diffusion、vLLM-Omni、ComfyUI 等项目。

对于部署或实验 DiT 生成模型的开发者，它可以在已有 Diffusers 管线外加少量封装代码，降低推理延迟，或在有限显存的硬件上运行更大的模型。

核心功能

  • 01提供 DBCache、TaylorSeer、SCM 等混合缓存加速。
  • 02支持 Context、Tensor 以及 2D/3D 混合并行，适用于多 GPU。
  • 03支持 W8A8、W4A4 等量化方式。
  • 04支持逐层 CPU 卸载，额外开销较低。
  • 05兼容 torch.compile，覆盖 Diffusers 中绝大多数 DiT 管线。

适用场景

  • 在推理服务中加速 FLUX 或 Qwen-Image 文生图生成。
  • 在显存有限的 GPU 上运行 Wan、HunyuanVideo 等大型视频 DiT 模型。
  • 为现有 Diffusers 管线增加多 GPU 并行能力。
  • 将更快的 DiT 推理接入 ComfyUI 或基于 SGLang 的服务。

标签

#pytorch#diffusion-models#dit#inference#model-optimization#quantization#parallelism#diffusers#flux2-klein#flux3

常见问题

cache-dit 是什么？
基于 PyTorch 的 DiT 推理引擎，在 Diffusers 之上提供缓存、并行、量化和 CPU 卸载加速。 Cache-DiT 是基于 Hugging Face Diffusers 构建的 PyTorch 原生推理引擎，面向 Diffusion Transformer（DiT）模型。它通过 DBCache、TaylorSeer、SCM 等混合缓存方法复用中间计算，并借助 Context Parallelism、Tensor Parallelism 以及 2D/3D 混合并行把计算分摊到多张 GPU 上，以缩短去噪过程的耗时。
cache-dit 可以免费使用吗？用的什么许可证？
cache-dit 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。
cache-dit 还在维护吗？
活跃维护中。cache-dit 最近一次提交是在 2026年10月21日。
cache-dit 适合用来做什么？
在推理服务中加速 FLUX 或 Qwen-Image 文生图生成。 在显存有限的 GPU 上运行 Wan、HunyuanVideo 等大型视频 DiT 模型。 为现有 Diffusers 管线增加多 GPU 并行能力。 将更快的 DiT 推理接入 ComfyUI 或基于 SGLang 的服务。
在哪里获取 cache-dit？
源代码和安装说明在 GitHub 上：https://github.com/vipshop/cache-dit

概要由 AI 根据项目 README 生成；GitHub 数据每日更新。

相关项目