Repolode
Enviar
NVlabs

NVlabs/Sana

Base de código open source para geração eficiente de imagens e vídeos em alta resolução com diffusion transformers lineares, incluindo pipelines de treinamento e inferência.

Alternativa open source a:MidjourneyRunway

Ver no GitHubSite
Estrelas
9,407
Forks
753
Issues abertas
138
Último commit
há 7 horas

O que é?

SANA é uma base de código de modelos de difusão da NVIDIA Labs para gerar imagens e vídeos em alta resolução. Seu design central substitui a atenção padrão no diffusion transformer por atenção linear e usa um autoencoder de alta compressão (DC-AE) para reduzir o custo de gerar conteúdos grandes, como imagens em 4K.

O repositório reúne uma família de modelos: SANA, para geração de texto para imagem em até 4K; SANA-1.5, com escalabilidade durante o treinamento e a inferência; SANA-Sprint, para geração em uma ou poucas etapas; e vários modelos de vídeo, incluindo SANA-Video, SANA-Video 2.0, um modelo de mundo controlável (SANA-WM) e um modelo de edição de vídeo para vídeo em streaming (SANA-Streaming). Também inclui o Sol-RL, uma receita de pós-treinamento com aprendizado por reforço. Os pesos pré-treinados são publicados no Hugging Face, e os modelos podem ser carregados pelo diffusers.

O projeto oferece nós para ComfyUI, suporte a serving com SGLang, ControlNet, fine-tuning com LoRA e DreamBooth, além de quantização de 4 e 8 bits para execução em GPUs com memória limitada.

Recursos principais

  • 01Diffusion transformer com atenção linear para geração de imagens em alta resolução, até 4K.
  • 02Modelos de texto para vídeo e de texto e imagem para vídeo, incluindo saídas em 720p.
  • 03Geração em uma ou poucas etapas por meio de destilação sCM.
  • 04Suporte a fine-tuning com ControlNet, LoRA e DreamBooth.
  • 05Quantização de 4 e 8 bits para execução em GPUs com VRAM limitada.
  • 06Integrações com diffusers, ComfyUI e SGLang.

Casos de uso

  • Gerar imagens em alta resolução em uma única GPU para consumidores.
  • Pesquisar arquiteturas eficientes de diffusion transformers.
  • Fazer fine-tuning de um modelo de texto para imagem ou de vídeo com dados personalizados usando LoRA.
  • Disponibilizar um modelo de difusão por trás de uma API compatível com OpenAI usando SGLang.

Início rápido

  1. 1

    Abra a documentação oficial de instalação e configuração

Antes de usar

  • A geração requer uma GPU NVIDIA potente; as demonstrações do README mencionam hardware da classe 3090 e H100.

Tópicos

#diffusion#text-to-image#text-to-video#linear-attention#transformers#pytorch#image-generation#video-generation#dit#linear-transformer

Perguntas frequentes

O que é Sana?
Base de código open source para geração eficiente de imagens e vídeos em alta resolução com diffusion transformers lineares, incluindo pipelines de treinamento e inferência. SANA é uma base de código de modelos de difusão da NVIDIA Labs para gerar imagens e vídeos em alta resolução. Seu design central substitui a atenção padrão no diffusion transformer por atenção linear e usa um autoencoder de alta compressão (DC-AE) para reduzir o custo de gerar conteúdos grandes, como imagens em 4K.
Sana é gratuito? Qual é a licença?
Sana é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
Sana ainda é mantido?
Manutenção ativa. O último commit de Sana foi em 20 de out. de 2026.
Para que posso usar Sana?
Gerar imagens em alta resolução em uma única GPU para consumidores. Pesquisar arquiteturas eficientes de diffusion transformers. Fazer fine-tuning de um modelo de texto para imagem ou de vídeo com dados personalizados usando LoRA. Disponibilizar um modelo de difusão por trás de uma API compatível com OpenAI usando SGLang.
Como instalar Sana?
Abra a documentação oficial de instalação e configuração
Onde consigo Sana?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/NVlabs/Sana

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados