Motor open source de modelos de difusión para generar imágenes, video y audio, con inferencia y entrenamiento en equipos con poca VRAM.
DiffSynth-Studio es un framework de Python para ejecutar y entrenar modelos de difusión, desarrollado por la comunidad de ModelScope. Integra diversos modelos open source populares para generar y editar imágenes, generar video, crear audio y música, y evaluar la calidad de las imágenes.
Su principal objetivo es facilitar el uso de modelos grandes en hardware modesto. Los parámetros de los modelos se distribuyen entre el disco, la memoria del sistema y la VRAM para que las GPU de consumo con memoria limitada puedan ejecutar la inferencia. La cuantización en formatos como NF4 e INT8 reduce aún más la memoria necesaria para la inferencia y el entrenamiento de LoRA. La mayoría de los modelos compatibles con la inferencia también permiten entrenar modelos base, LoRAs y adaptadores con entradas adicionales.
El proyecto también incluye un modo de Split Training que separa el procesamiento de datos (como la codificación de texto y VAE) de la etapa de entrenamiento basada en gradientes, además de entrenamiento con descarga a CPU y entrenamiento diferencial de LoRA. Entre los proyectos relacionados basados en él están DiffSynth-ComfyUI, para flujos de trabajo de ComfyUI, y DiffSynth-WebUI, para entrenar LoRA.
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Interfaz gráfica de nodos, API y backend para ejecutar modelos de difusión localmente y generar imágenes, video, audio y contenido 3D.
Biblioteca de Python que ejecuta modelos de lenguaje grandes capa por capa para que los modelos de 70B puedan inferir en una sola GPU de 4 GB, sin cuantización.
Suite integral para ajustar modelos de difusión de imagen, video y audio en GPU de consumo, desde una interfaz web o la CLI.
Base de código de código abierto para generar imágenes y videos de alta resolución de forma eficiente con transformers de difusión de atención lineal, con flujos de entrenamiento e inferencia.
Herramienta de código abierto basada en Stable Diffusion para generar cómics con personajes coherentes y secuencias de imagen a video de largo alcance.
Interfaz web basada en Gradio para ejecutar Stable Diffusion y modelos recientes de imagen y video, que continúa el fork Forge con más compatibilidad y optimizaciones.