HVision-NKU/StoryDiffusion

Что это?

Ключевые возможности

• 01Модуль согласованного self-attention сохраняет персонажей неизменными в последовательности сгенерированных изображений.
• 02Можно подключить к моделям диффузии изображений на базе SD1.5 и SDXL.
• 03Предиктор движения генерирует видео, создавая переходы между изображениями-условиями.
• 04Jupyter notebook и локальное демо на Gradio для создания комиксов.
• 05Доступна версия Gradio с низким потреблением VRAM.

Сценарии использования

• Создание страниц комикса, в которых одни и те же персонажи появляются на протяжении всей истории.
• Создание последовательностей изображений в стиле раскадровки с постоянными персонажами.
• Преобразование набора ключевых кадров в короткое видео с помощью предиктора движения.

Быстрый старт

1. 1

   Создайте и активируйте окружение conda

   conda create --name storydiffusion python=3.10 && conda activate storydiffusion
2. 2

   Установите зависимости

   pip install -r requirements.txt
3. 3

   Запустите локальную демоверсию Gradio для систем с небольшим объемом VRAM

   python gradio_app_sdxl_specific_id_low_vram.py

Что важно знать

• !Исходный код и предобученные веса модели генерации видео пока не опубликованы.
• !В тестах README указана GPU с 24 ГБ памяти, поэтому для локального запуска нужна мощная видеокарта.
• !Последний push в репозиторий был в сентябре 2024 года; недавней активности нет.

Темы

Частые вопросы

Что такое StoryDiffusion?

Инструмент на базе Stable Diffusion для создания комиксов с постоянными персонажами и длинных последовательностей «изображение в видео». StoryDiffusion генерирует последовательности изображений, в которых одни и те же персонажи сохраняются на протяжении всей истории. В основе проекта — модуль согласованного self-attention, который можно подключить к моделям диффузии изображений на базе SD1.5 и SDXL. Благодаря этому одни и те же персонажи последовательно появляются в изображениях, созданных по множеству промптов. Текущая реализация требует не менее трёх текстовых промптов; для более удачной композиции рекомендуется использовать пять-шесть.

StoryDiffusion можно использовать бесплатно? Какая у него лицензия?

StoryDiffusion распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.

StoryDiffusion всё ещё поддерживается?

Нет коммитов больше 6 месяцев. Последний коммит в StoryDiffusion — 26 сент. 2024 г..

Для чего можно использовать StoryDiffusion?

Создание страниц комикса, в которых одни и те же персонажи появляются на протяжении всей истории. Создание последовательностей изображений в стиле раскадровки с постоянными персонажами. Преобразование набора ключевых кадров в короткое видео с помощью предиктора движения.

Как установить StoryDiffusion?

Создайте и активируйте окружение conda: conda create --name storydiffusion python=3.10 && conda activate storydiffusion Установите зависимости: pip install -r requirements.txt Запустите локальную демоверсию Gradio для систем с небольшим объемом VRAM: python gradio_app_sdxl_specific_id_low_vram.py

Где скачать StoryDiffusion?

Исходный код и инструкции по установке — на GitHub: https://github.com/HVision-NKU/StoryDiffusion