低VRAMでの推論・学習に対応した、画像・動画・音声生成向けのオープンソースDiffusionモデルエンジン。
NVlabs/Sana
線形拡散Transformerを用いた高解像度の画像・動画生成向けオープンソースコードベース。学習と推論のパイプラインを備えています。
代替できる製品:Midjourney
Runway
- スター
- 9,407
- フォーク
- 753
- 未解決の Issue
- 138
- 最終コミット
- 5 時間前
これは何?
SANAは、NVIDIA Labsが開発する、高解像度の画像や動画を生成するための拡散モデルのコードベースです。中核となる設計では、拡散Transformerの標準的なattentionを線形attentionに置き換え、高圧縮オートエンコーダ(DC-AE)と組み合わせることで、4K画像のような大きな出力の生成コストを抑えています。
このリポジトリには、モデルファミリーが含まれています。最大4Kのtext-to-imageに対応するSANA、学習時・推論時のスケーリングに対応するSANA-1.5、1ステップまたは少数ステップで生成するSANA-Sprintのほか、SANA-Video、SANA-Video 2.0、制御可能なworld model(SANA-WM)、ストリーミング動画間編集モデル(SANA-Streaming)などの動画モデルを提供します。また、強化学習による学習後の調整手法Sol-RLも含まれます。事前学習済み重みはHugging Faceで公開されており、diffusers経由でモデルを読み込めます。
ComfyUIノード、SGLangによるサービング、ControlNet、LoRA、DreamBoothによるファインチューニングに対応しています。また、メモリ容量に制約のあるGPUで実行するための4-bitおよび8-bit量子化も利用できます。
主な機能
- 01最大4Kの高解像度画像生成に対応する、線形attentionを用いた拡散Transformer。
- 02720p出力を含む、text-to-videoおよびtext-image-to-videoモデル。
- 03sCM蒸留による1ステップおよび少数ステップでの生成。
- 04ControlNet、LoRA、DreamBoothによるファインチューニングに対応。
- 05VRAM容量の限られたGPUで実行するための4-bitおよび8-bit量子化。
- 06diffusers、ComfyUI、SGLangとの統合。
ユースケース
- 一般向けGPU 1台で高解像度画像を生成する。
- 効率的な拡散Transformerアーキテクチャを研究する。
- LoRAを使い、独自データでtext-to-imageモデルや動画モデルをファインチューニングする。
- SGLangを使い、OpenAI互換APIの背後で拡散モデルをサービングする。
クイックスタート
- 1
インストールとセットアップについては、公式ドキュメントを開いてください
使う前に知っておきたいこと
- 生成には高性能なNVIDIA GPUが必要です。READMEのデモでは、3090クラスおよびH100のハードウェアが参照されています。
トピック
よくある質問
- Sana とは?
- 線形拡散Transformerを用いた高解像度の画像・動画生成向けオープンソースコードベース。学習と推論のパイプラインを備えています。 SANAは、NVIDIA Labsが開発する、高解像度の画像や動画を生成するための拡散モデルのコードベースです。中核となる設計では、拡散Transformerの標準的なattentionを線形attentionに置き換え、高圧縮オートエンコーダ(DC-AE)と組み合わせることで、4K画像のような大きな出力の生成コストを抑えています。
- Sana は無料で使えますか?ライセンスは?
- Sana は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
- Sana は今もメンテナンスされていますか?
- 活発にメンテナンス中。Sana の最終コミットは 2026年10月20日 です。
- Sana は何に使えますか?
- 一般向けGPU 1台で高解像度画像を生成する。 効率的な拡散Transformerアーキテクチャを研究する。 LoRAを使い、独自データでtext-to-imageモデルや動画モデルをファインチューニングする。 SGLangを使い、OpenAI互換APIの背後で拡散モデルをサービングする。
- Sana のインストール方法は?
- インストールとセットアップについては、公式ドキュメントを開いてください
- Sana はどこで入手できますか?
- ソースコードとインストール手順は GitHub にあります:https://github.com/NVlabs/Sana
概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。
関連プロジェクト
テキスト、画像、音声、動画、アクションを生成する全モダリティ対応モデルを実行できる、vLLMを拡張したサービングフレームワーク。
Stable Diffusionや新しい画像・動画モデルを実行できる、モデル対応と最適化を強化したForge派生のGradio製Web UI。
画像・動画・音声・3Dコンテンツをローカル生成するためのノードグラフGUI、API、バックエンド。
テキスト・画像・音声からの動画生成やキャラクターアニメーションに対応した、大規模なオープンソース動画生成モデル。
画像理解、テキストからの画像生成、画像編集を一つのアーキテクチャで実現するSenseNovaのオープンソース統合マルチモーダルモデル。