HVision-NKU/StoryDiffusion

これは何？

主な機能

• 01一貫性のあるself-attentionにより、生成画像のシーケンス全体でキャラクターの一貫性を保ちます。
• 02SD1.5およびSDXLベースの画像拡散モデルに後から組み込めます。
• 03条件画像間をつなぐモーション予測器で動画を生成します。
• 04漫画生成用のJupyter notebookとローカルGradioデモを利用できます。
• 05低VRAM向けのGradio版を利用できます。

ユースケース

• ストーリーを通じて同じキャラクターが登場する漫画のコマを作成する。
• 被写体の一貫性を保った、絵コンテ風の画像シーケンスを制作する。
• モーション予測器を使って、キーフレーム画像から短い動画を生成する。

クイックスタート

1. 1

   conda環境を作成して有効化する

   conda create --name storydiffusion python=3.10 && conda activate storydiffusion
2. 2

   requirementsをインストールする

   pip install -r requirements.txt
3. 3

   低VRAM向けのローカルGradioデモを起動する

   python gradio_app_sdxl_specific_id_low_vram.py

使う前に知っておきたいこと

• !動画生成モデルのソースコードと学習済み重みはまだ公開されていません。
• !READMEのテストでは24GB GPUが使われているため、ローカルで実行するには高性能なGPUが必要です。
• !リポジトリへの最終プッシュは2024年9月で、最近の活動はありません。

トピック

よくある質問

StoryDiffusion とは？

キャラクターの一貫性を保った漫画画像や、長距離の画像から動画へのシーケンスを生成するStable Diffusionベースのオープンソースツール。 StoryDiffusionは、ストーリーを通じて同じキャラクターが登場する画像シーケンスを生成します。中核となるのは、SD1.5やSDXLベースの画像拡散モデルに組み込める一貫性のあるself-attentionモジュールです。これにより、複数のプロンプトにわたって同じキャラクターを一貫して描写できます。現在の実装では最低3つのテキストプロンプトが必要で、レイアウトをよりよくするには5〜6個が推奨されています。

StoryDiffusion は無料で使えますか？ライセンスは？

StoryDiffusion は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

StoryDiffusion は今もメンテナンスされていますか？

半年以上コミットなし。StoryDiffusion の最終コミットは 2024年9月26日 です。

StoryDiffusion は何に使えますか？

ストーリーを通じて同じキャラクターが登場する漫画のコマを作成する。 被写体の一貫性を保った、絵コンテ風の画像シーケンスを制作する。 モーション予測器を使って、キーフレーム画像から短い動画を生成する。

StoryDiffusion のインストール方法は？

conda環境を作成して有効化する: conda create --name storydiffusion python=3.10 && conda activate storydiffusion requirementsをインストールする: pip install -r requirements.txt 低VRAM向けのローカルGradioデモを起動する: python gradio_app_sdxl_specific_id_low_vram.py

StoryDiffusion はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/HVision-NKU/StoryDiffusion