Repolode
NVlabs

NVlabs/Sana

線形拡散Transformerを用いた高解像度の画像・動画生成向けオープンソースコードベース。学習と推論のパイプラインを備えています。

代替できる製品:MidjourneyRunway

スター
9,407
フォーク
753
未解決の Issue
138
最終コミット
5 時間前

これは何?

SANAは、NVIDIA Labsが開発する、高解像度の画像や動画を生成するための拡散モデルのコードベースです。中核となる設計では、拡散Transformerの標準的なattentionを線形attentionに置き換え、高圧縮オートエンコーダ(DC-AE)と組み合わせることで、4K画像のような大きな出力の生成コストを抑えています。

このリポジトリには、モデルファミリーが含まれています。最大4Kのtext-to-imageに対応するSANA、学習時・推論時のスケーリングに対応するSANA-1.5、1ステップまたは少数ステップで生成するSANA-Sprintのほか、SANA-Video、SANA-Video 2.0、制御可能なworld model(SANA-WM)、ストリーミング動画間編集モデル(SANA-Streaming)などの動画モデルを提供します。また、強化学習による学習後の調整手法Sol-RLも含まれます。事前学習済み重みはHugging Faceで公開されており、diffusers経由でモデルを読み込めます。

ComfyUIノード、SGLangによるサービング、ControlNet、LoRA、DreamBoothによるファインチューニングに対応しています。また、メモリ容量に制約のあるGPUで実行するための4-bitおよび8-bit量子化も利用できます。

主な機能

  • 01最大4Kの高解像度画像生成に対応する、線形attentionを用いた拡散Transformer。
  • 02720p出力を含む、text-to-videoおよびtext-image-to-videoモデル。
  • 03sCM蒸留による1ステップおよび少数ステップでの生成。
  • 04ControlNet、LoRA、DreamBoothによるファインチューニングに対応。
  • 05VRAM容量の限られたGPUで実行するための4-bitおよび8-bit量子化。
  • 06diffusers、ComfyUI、SGLangとの統合。

ユースケース

  • 一般向けGPU 1台で高解像度画像を生成する。
  • 効率的な拡散Transformerアーキテクチャを研究する。
  • LoRAを使い、独自データでtext-to-imageモデルや動画モデルをファインチューニングする。
  • SGLangを使い、OpenAI互換APIの背後で拡散モデルをサービングする。

クイックスタート

  1. 1

    インストールとセットアップについては、公式ドキュメントを開いてください

使う前に知っておきたいこと

  • 生成には高性能なNVIDIA GPUが必要です。READMEのデモでは、3090クラスおよびH100のハードウェアが参照されています。

トピック

よくある質問

Sana とは?
線形拡散Transformerを用いた高解像度の画像・動画生成向けオープンソースコードベース。学習と推論のパイプラインを備えています。 SANAは、NVIDIA Labsが開発する、高解像度の画像や動画を生成するための拡散モデルのコードベースです。中核となる設計では、拡散Transformerの標準的なattentionを線形attentionに置き換え、高圧縮オートエンコーダ(DC-AE)と組み合わせることで、4K画像のような大きな出力の生成コストを抑えています。
Sana は無料で使えますか?ライセンスは?
Sana は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
Sana は今もメンテナンスされていますか?
活発にメンテナンス中。Sana の最終コミットは 2026年10月20日 です。
Sana は何に使えますか?
一般向けGPU 1台で高解像度画像を生成する。 効率的な拡散Transformerアーキテクチャを研究する。 LoRAを使い、独自データでtext-to-imageモデルや動画モデルをファインチューニングする。 SGLangを使い、OpenAI互換APIの背後で拡散モデルをサービングする。
Sana のインストール方法は?
インストールとセットアップについては、公式ドキュメントを開いてください
Sana はどこで入手できますか?
ソースコードとインストール手順は GitHub にあります:https://github.com/NVlabs/Sana

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト