Движок с открытым исходным кодом для генерации изображений, видео и аудио с помощью Diffusion-моделей; поддерживает инференс и обучение при небольшом объёме VRAM.
13,3 тыс.1,3 тыс.PythonApache-2.0Обновлён 6 часов назад
NVlabs/Sana
Открытый код для эффективной генерации изображений и видео высокого разрешения с помощью линейных diffusion transformer, включая пайплайны обучения и инференса.
Open source альтернатива:Midjourney
Runway
- Звёзды
- 9,407
- Форки
- 753
- Открытые issues
- 138
- Последний коммит
- 6 часов назад
Что это?
SANA — кодовая база NVIDIA Labs для генерации изображений и видео высокого разрешения с помощью diffusion-моделей. В основе проекта — замена стандартного attention в diffusion transformer на linear attention и использование автоэнкодера с высокой степенью сжатия (DC-AE), что снижает затраты на создание изображений большого размера, например 4K.
Репозиторий включает семейство моделей: SANA для генерации изображений по тексту с разрешением до 4K, SANA-1.5 для масштабирования обучения и инференса, SANA-Sprint для генерации за один или несколько шагов, а также несколько видеомоделей: SANA-Video, SANA-Video 2.0, управляемую world model (SANA-WM) и потоковую модель редактирования видео в формате video-to-video (SANA-Streaming). В проект также входит рецепт постобучения с reinforcement learning — Sol-RL. Предобученные веса опубликованы на Hugging Face, а модели можно загружать через diffusers.
Проект предоставляет ноды ComfyUI, поддержку запуска моделей через SGLang, ControlNet, дообучение с LoRA и DreamBooth, а также квантование до 4 и 8 бит для запуска на GPU с ограниченным объёмом памяти.
Ключевые возможности
- 01Diffusion transformer с linear attention для генерации изображений высокого разрешения — до 4K.
- 02Модели text-to-video и text-image-to-video, в том числе с выходным разрешением 720p.
- 03Генерация за один или несколько шагов с помощью дистилляции sCM.
- 04Поддержка дообучения с ControlNet, LoRA и DreamBooth.
- 05Квантование до 4 и 8 бит для запуска на GPU с ограниченным объёмом VRAM.
- 06Интеграции с diffusers, ComfyUI и SGLang.
Сценарии использования
- Генерация изображений высокого разрешения на одной потребительской GPU.
- Исследование эффективных архитектур diffusion transformer.
- Дообучение текстовой модели генерации изображений или видео на собственных данных с помощью LoRA.
- Запуск diffusion-модели за OpenAI-совместимым API с помощью SGLang.
Быстрый старт
- 1
Откройте официальную документацию по установке и настройке
Что важно знать
- Для генерации требуется достаточно мощный GPU NVIDIA; в демонстрациях README упоминается оборудование класса 3090 и H100.
Темы
Частые вопросы
- Что такое Sana?
- Открытый код для эффективной генерации изображений и видео высокого разрешения с помощью линейных diffusion transformer, включая пайплайны обучения и инференса. SANA — кодовая база NVIDIA Labs для генерации изображений и видео высокого разрешения с помощью diffusion-моделей. В основе проекта — замена стандартного attention в diffusion transformer на linear attention и использование автоэнкодера с высокой степенью сжатия (DC-AE), что снижает затраты на создание изображений большого размера, например 4K.
- Sana можно использовать бесплатно? Какая у него лицензия?
- Sana распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
- Sana всё ещё поддерживается?
- Активно поддерживается. Последний коммит в Sana — 20 окт. 2026 г..
- Для чего можно использовать Sana?
- Генерация изображений высокого разрешения на одной потребительской GPU. Исследование эффективных архитектур diffusion transformer. Дообучение текстовой модели генерации изображений или видео на собственных данных с помощью LoRA. Запуск diffusion-модели за OpenAI-совместимым API с помощью SGLang.
- Как установить Sana?
- Откройте официальную документацию по установке и настройке
- Где скачать Sana?
- Исходный код и инструкции по установке — на GitHub: https://github.com/NVlabs/Sana
Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.
Похожие проекты
Фреймворк для запуска моделей разных модальностей, расширяющий vLLM и поддерживающий генерацию текста, изображений, аудио, видео и действий.
7,3 тыс.1,9 тыс.PythonApache-2.0Обновлён 23 часа назад
Веб-интерфейс на базе Gradio для запуска Stable Diffusion и новых моделей генерации изображений и видео — продолжение форка Forge с поддержкой дополнительных моделей и оптимизациями.
1,8 тыс.253PythonAGPL-3.0Обновлён вчера
GUI с узловым графом, API и бэкенд для локального запуска диффузионных моделей и генерации изображений, видео, аудио и 3D-контента.
ИИ и машинное обучение#stable-diffusion#diffusion-models#node-editor#image-generation#video-generation
139,1 тыс.16,5 тыс.PythonGPL-3.0Обновлён вчера
Открытые крупномасштабные модели генерации видео: из текста, изображений и речи, а также для анимации персонажей.
ИИ и машинное обучение#video-generation#text-to-video#image-to-video#diffusion-model#mixture-of-experts
18 тыс.2,3 тыс.PythonApache-2.0Обновлён 29 дней назад
Открытые нативные унифицированные мультимодальные модели SenseNova для понимания изображений, генерации изображений по тексту и редактирования изображений в рамках одной архитектуры.
ИИ и машинное обучение#multimodal#image-generation#image-editing#vision-language-model#text-to-image
6,9 тыс.532PythonApache-2.0Обновлён 19 дней назад