HVision-NKU/StoryDiffusion

这是什么？

核心功能

• 01一致性自注意力机制使生成的系列图像中角色保持一致。
• 02可即插即用地接入基于 SD1.5 和 SDXL 的图像扩散模型。
• 03运动预测器通过在条件图像之间过渡生成视频。
• 04提供 Jupyter Notebook 和本地 Gradio 演示用于漫画生成。
• 05提供低显存版本的 Gradio 应用。

适用场景

• 为故事创作包含同一角色的漫画分镜。
• 制作主体一致的分镜式图像序列。
• 借助运动预测器将一组关键帧图像扩展为短视频。

快速上手

1. 1

   创建并激活 conda 环境

   conda create --name storydiffusion python=3.10 && conda activate storydiffusion
2. 2

   安装依赖

   pip install -r requirements.txt
3. 3

   启动低显存本地 gradio 演示

   python gradio_app_sdxl_specific_id_low_vram.py

使用前须知

• !视频生成模型的源代码和预训练权重尚未发布。
• !README 中的测试环境为 24GB 显存的 GPU，本地运行需要性能较好的显卡。
• !仓库最后一次推送在 2024 年 9 月，之后没有近期更新。

标签

常见问题

StoryDiffusion 是什么？

基于 Stable Diffusion 的开源工具，用于生成角色一致的连环画图像和长序列图生视频。 StoryDiffusion 用于生成在整个故事中保持角色一致的系列图像。其核心是一个一致性自注意力模块，可以即插即用地接入所有基于 SD1.5 和 SDXL 的图像扩散模型，使同一角色在多条提示词下保持外观统一。当前实现至少需要 3 条文本提示，建议使用 5 到 6 条以获得更好的画面布局。

StoryDiffusion 可以免费使用吗？用的什么许可证？

StoryDiffusion 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。

StoryDiffusion 还在维护吗？

超过半年未提交。StoryDiffusion 最近一次提交是在 2024年9月26日。

StoryDiffusion 适合用来做什么？

为故事创作包含同一角色的漫画分镜。 制作主体一致的分镜式图像序列。 借助运动预测器将一组关键帧图像扩展为短视频。

StoryDiffusion 怎么安装和运行？

创建并激活 conda 环境: conda create --name storydiffusion python=3.10 && conda activate storydiffusion 安装依赖: pip install -r requirements.txt 启动低显存本地 gradio 演示: python gradio_app_sdxl_specific_id_low_vram.py

在哪里获取 StoryDiffusion？

源代码和安装说明在 GitHub 上：https://github.com/HVision-NKU/StoryDiffusion