Interfaz web basada en Gradio para ejecutar Stable Diffusion y modelos recientes de imagen y video, que continúa el fork Forge con más compatibilidad y optimizaciones.
1,8 mil253PythonAGPL-3.0Actualizado hace 19 horas
HVision-NKU/StoryDiffusion
Herramienta de código abierto basada en Stable Diffusion para generar cómics con personajes coherentes y secuencias de imagen a video de largo alcance.
- Estrellas
- 6,479
- Forks
- 649
- Issues abiertos
- 119
- Último commit
- hace 2 años
¿Qué es?
StoryDiffusion genera secuencias de imágenes en las que los mismos personajes se mantienen a lo largo de una historia. Su núcleo es un módulo de self-attention consistente que se puede integrar en modelos de difusión de imágenes basados en SD1.5 y SDXL, de modo que el mismo personaje aparezca de forma coherente en muchos prompts. La implementación actual requiere al menos tres prompts de texto; se recomiendan entre cinco y seis para obtener una mejor composición.
El proyecto también incluye un predictor de movimiento para generar videos de largo alcance. Predice el movimiento entre imágenes de condición proporcionadas por el usuario en un espacio semántico de imagen comprimido, y las imágenes generadas se pueden encadenar para crear videos más largos.
Los usuarios pueden generar cómics con un notebook de Jupyter o una aplicación local de Gradio. Se incluye una versión de Gradio de bajo consumo de VRAM, probada en una GPU de 24 GB. El código fuente del modelo de generación de video y sus pesos preentrenados figuran como aún no publicados.
Funciones clave
- 01El módulo de self-attention consistente mantiene la coherencia de los personajes en una secuencia de imágenes generadas.
- 02Se puede integrar sobre la marcha en modelos de difusión de imágenes basados en SD1.5 y SDXL.
- 03El predictor de movimiento genera videos mediante transiciones entre imágenes de condición.
- 04Notebook de Jupyter y demo local de Gradio para generar cómics.
- 05Disponible una versión de Gradio de bajo consumo de VRAM.
Casos de uso
- Crear viñetas de cómic con los mismos personajes a lo largo de una historia.
- Producir secuencias de imágenes con estilo de storyboard y sujetos coherentes.
- Convertir un conjunto de imágenes clave en un video corto mediante el predictor de movimiento.
Inicio rápido
- 1
Crea y activa un entorno conda
conda create --name storydiffusion python=3.10 && conda activate storydiffusion - 2
Instala los requisitos
pip install -r requirements.txt - 3
Inicia la demo local de Gradio para equipos con poca VRAM
python gradio_app_sdxl_specific_id_low_vram.py
Antes de usarlo
- El código fuente y los pesos preentrenados del modelo de generación de vídeo aún no se han publicado.
- Las pruebas del README mencionan una GPU de 24 GB, por lo que se necesita una GPU potente para ejecutarlo localmente.
- El último push al repositorio fue en septiembre de 2024 y no ha habido actividad reciente.
Temas
Preguntas frecuentes
- ¿Qué es StoryDiffusion?
- Herramienta de código abierto basada en Stable Diffusion para generar cómics con personajes coherentes y secuencias de imagen a video de largo alcance. StoryDiffusion genera secuencias de imágenes en las que los mismos personajes se mantienen a lo largo de una historia. Su núcleo es un módulo de self-attention consistente que se puede integrar en modelos de difusión de imágenes basados en SD1.5 y SDXL, de modo que el mismo personaje aparezca de forma coherente en muchos prompts. La implementación actual requiere al menos tres prompts de texto; se recomiendan entre cinco y seis para obtener una mejor composición.
- ¿StoryDiffusion es gratuito? ¿Qué licencia tiene?
- StoryDiffusion es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿StoryDiffusion sigue mantenido?
- Sin commits en más de 6 meses. El último commit de StoryDiffusion fue el 26 sept 2024.
- ¿Para qué puedo usar StoryDiffusion?
- Crear viñetas de cómic con los mismos personajes a lo largo de una historia. Producir secuencias de imágenes con estilo de storyboard y sujetos coherentes. Convertir un conjunto de imágenes clave en un video corto mediante el predictor de movimiento.
- ¿Cómo se instala StoryDiffusion?
- Crea y activa un entorno conda: conda create --name storydiffusion python=3.10 && conda activate storydiffusion Instala los requisitos: pip install -r requirements.txt Inicia la demo local de Gradio para equipos con poca VRAM: python gradio_app_sdxl_specific_id_low_vram.py
- ¿Dónde consigo StoryDiffusion?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/HVision-NKU/StoryDiffusion
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Interfaz gráfica de nodos, API y backend para ejecutar modelos de difusión localmente y generar imágenes, video, audio y contenido 3D.
IA y Machine Learning#stable-diffusion#diffusion-models#node-editor#image-generation#video-generation
139,1 mil16,5 milPythonGPL-3.0Actualizado hace 17 horas
Generador de imágenes offline y de código abierto basado en Stable Diffusion XL que permite centrarse en los prompts sin ajustar parámetros manualmente.
53,6 mil8,7 milPythonGPL-3.0Actualizado hace 11 meses
Motor creativo web para generar y editar imágenes con Stable Diffusion y otros modelos de IA, con un lienzo unificado y flujos de trabajo basados en nodos.
28,8 mil3,1 milTypeScriptApache-2.0Actualizado hace 13 horas
Modelo de difusión de texto a imagen de 5B parámetros y código abierto, enfocado en representar texto con precisión, controlar la composición con JSON y ajustar el modelo.
86742PythonApache-2.0Actualizado hace 15 horas
Framework de serving que amplía vLLM para ejecutar modelos omnimodales que generan texto, imágenes, audio, video y acciones.
7,3 mil1,9 milPythonApache-2.0Actualizado hace 7 horas