Движок с открытым исходным кодом для генерации изображений, видео и аудио с помощью Diffusion-моделей; поддерживает инференс и обучение при небольшом объёме VRAM.
DiffSynth-Studio — это Python-фреймворк от сообщества ModelScope для запуска и обучения Diffusion-моделей. В него интегрированы популярные модели с открытым исходным кодом для генерации и редактирования изображений, генерации видео, аудио и музыки, а также оценки качества изображений.
Основное внимание уделено тому, чтобы крупные модели можно было запускать на не самом мощном оборудовании. Параметры модели распределяются между диском, системной памятью и VRAM, благодаря чему инференс доступен даже на потребительских GPU с небольшим объёмом видеопамяти. Квантизация в форматы NF4, INT8 и другие дополнительно снижает требования к памяти при инференсе и обучении LoRA. Большинство моделей, поддерживающих инференс, подходят и для обучения: это базовые модели, LoRA и адаптеры с дополнительными входными данными.
В проект также входит режим Split Training, который отделяет обработку данных (например, кодирование текста и VAE) от этапа обучения на основе градиентов, а также обучение с выгрузкой данных на CPU и дифференциальное обучение LoRA. На базе проекта созданы DiffSynth-ComfyUI для работы с ComfyUI и DiffSynth-WebUI для обучения LoRA.
Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.
GUI с узловым графом, API и бэкенд для локального запуска диффузионных моделей и генерации изображений, видео, аудио и 3D-контента.
Библиотека Python, которая запускает большие языковые модели послойно и позволяет выполнять инференс моделей класса 70B на одной GPU с 4 ГБ памяти без квантования.
Комплексный набор инструментов для дообучения диффузионных моделей изображений, видео и аудио на потребительских GPU через веб-интерфейс или CLI.
Открытый код для эффективной генерации изображений и видео высокого разрешения с помощью линейных diffusion transformer, включая пайплайны обучения и инференса.
Инструмент на базе Stable Diffusion для создания комиксов с постоянными персонажами и длинных последовательностей «изображение в видео».
Веб-интерфейс на базе Gradio для запуска Stable Diffusion и новых моделей генерации изображений и видео — продолжение форка Forge с поддержкой дополнительных моделей и оптимизациями.