Быстрая и эффективная по памяти библиотека и сервер для запуска и обслуживания больших языковых моделей через API, совместимый с OpenAI.
94,2 тыс.23,6 тыс.PythonApache-2.0Обновлён вчера
vipshop/cache-dit
PyTorch-движок инференса для Diffusion Transformers (DiT), который ускоряет работу Diffusers за счёт кэширования, параллелизма, квантования и выгрузки на CPU.
- Звёзды
- 1,290
- Форки
- 92
- Открытые issues
- 88
- Последний коммит
- 7 часов назад
Что это?
Cache-DiT — нативный для PyTorch движок инференса Diffusion Transformers (DiT), построенный на библиотеке Hugging Face Diffusers. Он ускоряет медленный этап денойзинга в пайплайнах генерации изображений, видео и аудио за счёт повторного использования промежуточных вычислений с помощью гибридного кэширования (DBCache, TaylorSeer, SCM и других методов), а также распределения задач между GPU с помощью Context Parallelism, Tensor Parallelism и гибридного параллелизма 2D или 3D.
Проект поддерживает множество пайплайнов Diffusers, в том числе семейства FLUX, Qwen-Image, Wan, HunyuanVideo и LTX. Он совместим с torch.compile, квантованием, например W8A8 и W4A4, и послойной выгрузкой на CPU. Cache-DiT работает на NVIDIA GPU, Ascend NPU и AMD GPU, а также интегрируется с такими проектами, как SGLang Diffusion, vLLM-Omni и ComfyUI.
Разработчики, которые разворачивают или тестируют модели генерации на базе DiT, могут снизить задержку или запускать более крупные модели на ограниченном оборудовании. Обычно для этого достаточно добавить несколько строк кода-обёртки вокруг существующего пайплайна Diffusers.
Ключевые возможности
- 01Ускорение с помощью гибридного кэширования: DBCache, TaylorSeer и SCM.
- 02Context Parallelism, Tensor Parallelism и гибридный параллелизм 2D/3D на нескольких GPU.
- 03Поддержка квантования, в том числе W8A8 и W4A4.
- 04Послойная выгрузка на CPU с небольшими накладными расходами.
- 05Совместимость с torch.compile и поддержка почти всех пайплайнов DiT в Diffusers.
Сценарии использования
- Ускорение генерации изображений по текстовому описанию с помощью FLUX или Qwen-Image в серверной среде.
- Запуск крупных видеомоделей DiT, таких как Wan или HunyuanVideo, при ограниченной памяти GPU.
- Добавление параллелизма на нескольких GPU в существующий пайплайн Diffusers.
- Интеграция более быстрого инференса DiT в ComfyUI или сервисы на базе SGLang.
Темы
Частые вопросы
- Что такое cache-dit?
- PyTorch-движок инференса для Diffusion Transformers (DiT), который ускоряет работу Diffusers за счёт кэширования, параллелизма, квантования и выгрузки на CPU. Cache-DiT — нативный для PyTorch движок инференса Diffusion Transformers (DiT), построенный на библиотеке Hugging Face Diffusers. Он ускоряет медленный этап денойзинга в пайплайнах генерации изображений, видео и аудио за счёт повторного использования промежуточных вычислений с помощью гибридного кэширования (DBCache, TaylorSeer, SCM и других методов), а также распределения задач между GPU с помощью Context Parallelism, Tensor Parallelism и гибридного параллелизма 2D или 3D.
- cache-dit можно использовать бесплатно? Какая у него лицензия?
- cache-dit распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
- cache-dit всё ещё поддерживается?
- Активно поддерживается. Последний коммит в cache-dit — 21 окт. 2026 г..
- Для чего можно использовать cache-dit?
- Ускорение генерации изображений по текстовому описанию с помощью FLUX или Qwen-Image в серверной среде. Запуск крупных видеомоделей DiT, таких как Wan или HunyuanVideo, при ограниченной памяти GPU. Добавление параллелизма на нескольких GPU в существующий пайплайн Diffusers. Интеграция более быстрого инференса DiT в ComfyUI или сервисы на базе SGLang.
- Где скачать cache-dit?
- Исходный код и инструкции по установке — на GitHub: https://github.com/vipshop/cache-dit
Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.
Похожие проекты
Библиотека Python, которая запускает большие языковые модели послойно и позволяет выполнять инференс моделей класса 70B на одной GPU с 4 ГБ памяти без квантования.
39,5 тыс.4 тыс.Jupyter NotebookApache-2.0Обновлён позавчера
Движок с открытым исходным кодом для генерации изображений, видео и аудио с помощью Diffusion-моделей; поддерживает инференс и обучение при небольшом объёме VRAM.
13,3 тыс.1,3 тыс.PythonApache-2.0Обновлён вчера
Open-source toolkit для оптимизации и развертывания моделей deep learning для инференса на процессорах, GPU и NPU Intel.
11 тыс.3,5 тыс.C++Apache-2.0Обновлён вчера
Ultralytics YOLOv5 — библиотека компьютерного зрения на базе PyTorch для детекции объектов, сегментации экземпляров и классификации изображений, с обучением и экспортом моделей.
58,2 тыс.17,5 тыс.PythonAGPL-3.0Обновлён 3 дня назад
Библиотека для оптимизации глубокого обучения, упрощающая и ускоряющая распределённое обучение и инференс больших моделей.
43,2 тыс.5 тыс.PythonApache-2.0Обновлён позавчера