Um mecanismo open source de modelos Diffusion para gerar imagens, vídeos e áudio, com suporte a inferência e treinamento com pouca VRAM.
DiffSynth-Studio é um framework Python para executar e treinar modelos Diffusion, desenvolvido pela comunidade ModelScope. Ele integra diversos modelos open source populares para geração e edição de imagens, geração de vídeos, geração de áudio e música e métricas de qualidade de imagem.
O foco principal é tornar modelos grandes viáveis em hardware mais modesto. Os parâmetros dos modelos são distribuídos entre disco, memória do sistema e VRAM para que GPUs de consumo com pouca memória possam executar inferências. A quantização em formatos como NF4 e INT8 reduz ainda mais o uso de memória na inferência e no treinamento de LoRA. A maioria dos modelos compatíveis com inferência também oferece suporte a treinamento, incluindo modelos base, LoRAs e adapters com entradas adicionais.
O projeto também inclui um modo Split Training, que separa o processamento de dados (como a codificação de texto e VAE) da etapa de treinamento baseada em gradientes, além de treinamento com CPU offload e treinamento diferencial de LoRA. Entre os projetos relacionados criados com base nele estão DiffSynth-ComfyUI, para workflows do ComfyUI, e DiffSynth-WebUI, para treinamento de LoRA.
Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
GUI em grafo de nós, API e backend para executar modelos de difusão localmente e gerar imagens, vídeos, áudio e conteúdo 3D.
Biblioteca Python que executa LLMs grandes camada por camada, permitindo inferência com modelos da classe 70B em uma única GPU de 4 GB, sem quantização.
Suite completa para ajustar modelos de difusão de imagem, vídeo e áudio em GPUs de consumo, pela interface web ou CLI.
Base de código open source para geração eficiente de imagens e vídeos em alta resolução com diffusion transformers lineares, incluindo pipelines de treinamento e inferência.
Ferramenta de código aberto baseada em Stable Diffusion para gerar quadrinhos com personagens consistentes e sequências longas de imagem para vídeo.
Uma interface web baseada em Gradio para executar Stable Diffusion e modelos mais recentes de imagem e vídeo, dando continuidade ao fork Forge com suporte a novos modelos e otimizações.