Repolode
Enviar
vipshop

vipshop/cache-dit

Um mecanismo de inferência PyTorch para Diffusion Transformers (DiTs) que adiciona cache, paralelismo, quantização e offload para CPU ao Diffusers.

Ver no GitHubSite
Estrelas
1,290
Forks
92
Issues abertas
88
Último commit
há 6 horas

O que é?

Cache-DiT é um mecanismo de inferência nativo do PyTorch para Diffusion Transformers (DiTs), desenvolvido com base na biblioteca Hugging Face Diffusers. Ele acelera a etapa lenta de denoising em pipelines de difusão de imagens, vídeos e áudio, reutilizando computações intermediárias por meio de cache híbrido (DBCache, TaylorSeer, SCM e métodos relacionados) e distribuindo o trabalho entre GPUs com Context Parallelism, Tensor Parallelism e paralelismo híbrido 2D ou 3D.

O projeto abrange um amplo conjunto de pipelines do Diffusers, incluindo as famílias FLUX, Qwen-Image, Wan, HunyuanVideo e LTX, e é compatível com torch.compile, quantização como W8A8 e W4A4 e offload de CPU por camada. Ele funciona em GPUs NVIDIA, NPUs Ascend e GPUs AMD, além de se integrar a projetos como SGLang Diffusion, vLLM-Omni e ComfyUI.

Desenvolvedores que servem ou experimentam com modelos de geração baseados em DiT podem usá-lo para reduzir a latência ou executar modelos maiores em hardware limitado, geralmente com poucas linhas de código wrapper em torno de um pipeline Diffusers existente.

Recursos principais

  • 01Aceleração com cache híbrido usando os métodos DBCache, TaylorSeer e SCM.
  • 02Paralelismo de contexto, tensorial e híbrido 2D/3D entre várias GPUs.
  • 03Suporte à quantização, incluindo W8A8 e W4A4.
  • 04Offload de CPU por camada com baixa sobrecarga.
  • 05Compatível com torch.compile e com quase todos os pipelines DiT do Diffusers.

Casos de uso

  • Acelerar a geração de imagens a partir de texto com FLUX ou Qwen-Image em um ambiente de serving.
  • Executar modelos DiT grandes de vídeo, como Wan ou HunyuanVideo, com memória de GPU limitada.
  • Adicionar paralelismo entre várias GPUs a um pipeline Diffusers existente.
  • Integrar inferência DiT mais rápida ao ComfyUI ou a serviços baseados em SGLang.

Tópicos

#pytorch#diffusion-models#dit#inference#model-optimization#quantization#parallelism#diffusers#flux2-klein#flux3

Perguntas frequentes

O que é cache-dit?
Um mecanismo de inferência PyTorch para Diffusion Transformers (DiTs) que adiciona cache, paralelismo, quantização e offload para CPU ao Diffusers. Cache-DiT é um mecanismo de inferência nativo do PyTorch para Diffusion Transformers (DiTs), desenvolvido com base na biblioteca Hugging Face Diffusers. Ele acelera a etapa lenta de denoising em pipelines de difusão de imagens, vídeos e áudio, reutilizando computações intermediárias por meio de cache híbrido (DBCache, TaylorSeer, SCM e métodos relacionados) e distribuindo o trabalho entre GPUs com Context Parallelism, Tensor Parallelism e paralelismo híbrido 2D ou 3D.
cache-dit é gratuito? Qual é a licença?
cache-dit é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
cache-dit ainda é mantido?
Manutenção ativa. O último commit de cache-dit foi em 21 de out. de 2026.
Para que posso usar cache-dit?
Acelerar a geração de imagens a partir de texto com FLUX ou Qwen-Image em um ambiente de serving. Executar modelos DiT grandes de vídeo, como Wan ou HunyuanVideo, com memória de GPU limitada. Adicionar paralelismo entre várias GPUs a um pipeline Diffusers existente. Integrar inferência DiT mais rápida ao ComfyUI ou a serviços baseados em SGLang.
Onde consigo cache-dit?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/vipshop/cache-dit

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados