HVision-NKU/StoryDiffusion

O que é?

Recursos principais

• 01O self-attention consistente mantém os personagens iguais ao longo de uma sequência de imagens geradas.
• 02Pode ser integrado dinamicamente a modelos de difusão de imagens baseados em SD1.5 e SDXL.
• 03O preditor de movimento gera vídeos fazendo a transição entre imagens de condição.
• 04Notebook Jupyter e demonstração local em Gradio para geração de quadrinhos.
• 05Versão do Gradio para pouca VRAM disponível.

Casos de uso

• Criar quadros de quadrinhos com os mesmos personagens ao longo de uma história.
• Produzir sequências de imagens no estilo storyboard com personagens consistentes.
• Transformar um conjunto de imagens-chave em um vídeo curto com o preditor de movimento.

Início rápido

1. 1

   Crie e ative um ambiente conda

   conda create --name storydiffusion python=3.10 && conda activate storydiffusion
2. 2

   Instale os requisitos

   pip install -r requirements.txt
3. 3

   Inicie a demonstração local do Gradio para GPUs com pouca VRAM

   python gradio_app_sdxl_specific_id_low_vram.py

Antes de usar

• !O código-fonte e os pesos pré-treinados do modelo de geração de vídeo ainda não foram publicados.
• !Os testes do README mencionam uma GPU de 24 GB, então é necessária uma GPU potente para executá-lo localmente.
• !O último push para o repositório foi em setembro de 2024, e não há atividade recente.

Tópicos

Perguntas frequentes

O que é StoryDiffusion?

Ferramenta de código aberto baseada em Stable Diffusion para gerar quadrinhos com personagens consistentes e sequências longas de imagem para vídeo. StoryDiffusion gera sequências de imagens que mantêm os mesmos personagens ao longo de uma história. Seu núcleo é um módulo de self-attention consistente que pode ser integrado a modelos de difusão de imagens baseados em SD1.5 e SDXL, fazendo com que o mesmo personagem apareça de forma consistente em vários prompts. A implementação atual requer pelo menos três prompts de texto; recomenda-se usar de cinco a seis para obter um layout melhor.

StoryDiffusion é gratuito? Qual é a licença?

StoryDiffusion é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.

StoryDiffusion ainda é mantido?

Sem commits há mais de 6 meses. O último commit de StoryDiffusion foi em 26 de set. de 2024.

Para que posso usar StoryDiffusion?

Criar quadros de quadrinhos com os mesmos personagens ao longo de uma história. Produzir sequências de imagens no estilo storyboard com personagens consistentes. Transformar um conjunto de imagens-chave em um vídeo curto com o preditor de movimento.

Como instalar StoryDiffusion?

Crie e ative um ambiente conda: conda create --name storydiffusion python=3.10 && conda activate storydiffusion Instale os requisitos: pip install -r requirements.txt Inicie a demonstração local do Gradio para GPUs com pouca VRAM: python gradio_app_sdxl_specific_id_low_vram.py

Onde consigo StoryDiffusion?

O código-fonte e as instruções de instalação estão no GitHub: https://github.com/HVision-NKU/StoryDiffusion