Biblioteca y servidor rápidos y eficientes en memoria para ejecutar y servir modelos de lenguaje grandes mediante una API compatible con OpenAI.
94,2 mil23,6 milPythonApache-2.0Actualizado hace 23 horas
vipshop/cache-dit
Motor de inferencia para PyTorch de Diffusion Transformers (DiTs) que añade caching, paralelismo, cuantización y descarga a CPU sobre Diffusers.
- Estrellas
- 1,290
- Forks
- 92
- Issues abiertos
- 88
- Último commit
- hace 6 horas
¿Qué es?
Cache-DiT es un motor de inferencia nativo de PyTorch para Diffusion Transformers (DiTs), basado en la biblioteca Hugging Face Diffusers. Su objetivo es acelerar el lento paso de eliminación de ruido de los pipelines de difusión de imágenes, video y audio mediante la reutilización de cálculos intermedios con caching híbrido (DBCache, TaylorSeer, SCM y métodos relacionados) y la distribución del trabajo entre GPU con Context Parallelism, Tensor Parallelism y paralelismo híbrido 2D o 3D.
El proyecto abarca una gran variedad de pipelines de Diffusers, incluidas las familias FLUX, Qwen-Image, Wan, HunyuanVideo y LTX, y es compatible con torch.compile, cuantización como W8A8 y W4A4, y descarga a CPU por capas. Funciona con GPU NVIDIA, NPU Ascend y GPU AMD, y se integra con proyectos como SGLang Diffusion, vLLM-Omni y ComfyUI.
Los desarrolladores que sirven o experimentan con modelos de generación basados en DiT pueden usarlo para reducir la latencia o ejecutar modelos más grandes en hardware limitado, normalmente con unas pocas líneas de código wrapper alrededor de un pipeline de Diffusers existente.
Funciones clave
- 01Aceleración con caching híbrido mediante los métodos DBCache, TaylorSeer y SCM.
- 02Paralelismo de contexto, de tensores e híbrido 2D/3D entre varias GPU.
- 03Compatibilidad con cuantización, incluidos W8A8 y W4A4.
- 04Descarga a CPU por capas con baja sobrecarga.
- 05Compatible con torch.compile y con casi todos los pipelines DiT de Diffusers.
Casos de uso
- Acelerar la generación de texto a imagen con FLUX o Qwen-Image en un entorno de serving.
- Ejecutar modelos DiT de video grandes, como Wan o HunyuanVideo, con memoria GPU limitada.
- Añadir paralelismo entre varias GPU a un pipeline de Diffusers existente.
- Integrar inferencia DiT más rápida en ComfyUI o en servicios basados en SGLang.
Temas
Preguntas frecuentes
- ¿Qué es cache-dit?
- Motor de inferencia para PyTorch de Diffusion Transformers (DiTs) que añade caching, paralelismo, cuantización y descarga a CPU sobre Diffusers. Cache-DiT es un motor de inferencia nativo de PyTorch para Diffusion Transformers (DiTs), basado en la biblioteca Hugging Face Diffusers. Su objetivo es acelerar el lento paso de eliminación de ruido de los pipelines de difusión de imágenes, video y audio mediante la reutilización de cálculos intermedios con caching híbrido (DBCache, TaylorSeer, SCM y métodos relacionados) y la distribución del trabajo entre GPU con Context Parallelism, Tensor Parallelism y paralelismo híbrido 2D o 3D.
- ¿cache-dit es gratuito? ¿Qué licencia tiene?
- cache-dit es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿cache-dit sigue mantenido?
- Mantenimiento activo. El último commit de cache-dit fue el 21 oct 2026.
- ¿Para qué puedo usar cache-dit?
- Acelerar la generación de texto a imagen con FLUX o Qwen-Image en un entorno de serving. Ejecutar modelos DiT de video grandes, como Wan o HunyuanVideo, con memoria GPU limitada. Añadir paralelismo entre varias GPU a un pipeline de Diffusers existente. Integrar inferencia DiT más rápida en ComfyUI o en servicios basados en SGLang.
- ¿Dónde consigo cache-dit?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/vipshop/cache-dit
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Biblioteca de Python que ejecuta modelos de lenguaje grandes capa por capa para que los modelos de 70B puedan inferir en una sola GPU de 4 GB, sin cuantización.
39,5 mil4 milJupyter NotebookApache-2.0Actualizado anteayer
Motor open source de modelos de difusión para generar imágenes, video y audio, con inferencia y entrenamiento en equipos con poca VRAM.
13,3 mil1,3 milPythonApache-2.0Actualizado hace 23 horas
Toolkit de código abierto para optimizar e implementar modelos de deep learning para inferencia en CPU, GPU y NPU de Intel.
11 mil3,5 milC++Apache-2.0Actualizado hace 23 horas
Ultralytics YOLOv5 es un kit de herramientas de visión artificial basado en PyTorch para detectar objetos, segmentar instancias y clasificar imágenes, con funciones de entrenamiento y exportación.
58,2 mil17,5 milPythonAGPL-3.0Actualizado hace 3 días
Una biblioteca de optimización de deep learning que facilita y hace más eficiente el entrenamiento distribuido y la inferencia de modelos grandes.
43,2 mil5 milPythonApache-2.0Actualizado anteayer