GUI с узловым графом, API и бэкенд для локального запуска диффузионных моделей и генерации изображений, видео, аудио и 3D-контента.
NVlabs/LongLive
Исследовательский монорепозиторий NVIDIA с четырьмя проектами для генерации длинных видео, моделей мира и робототехнических world-action-моделей.
- Звёзды
- 2,813
- Форки
- 266
- Открытые issues
- 2
- Последний коммит
- позавчера
Что это?
LongLive — коллекция исследовательских проектов NVIDIA, посвящённых авторегрессионной генерации видео большой длительности. Репозиторий разделён на четыре самостоятельные директории: LongLive 1.0 генерирует длинные видео в реальном времени по последовательным запросам пользователя, LongLive 2.0 предлагает квантование NVFP4 и параллелизм по последовательности для обучения и запуска моделей генерации длинных видео, LongLive-Plug переносит повторно используемые возможности в LoRA-адаптеры, подключаемые к последующим видеомоделям, а Long-WAM предоставляет world-action-модели с длинным контекстом для обучения и развёртывания роботизированных политик.
Каждый проект можно клонировать отдельно с помощью partial clone и sparse checkout, чтобы загружать только нужную часть репозитория. Опубликованные чекпойнты доступны на Hugging Face: среди них LongLive-1.3B, несколько вариантов LongLive 2.0 и политики Long-WAM для LIBERO, RoboTwin 2.0 и RoboCasa.
В репозитории также перечислены сторонние проекты на базе LongLive, например адаптации для моделирования мира в реальном времени и потоковой генерации видео из нескольких планов.
Ключевые возможности
- 01Интерактивная генерация длинных видео в реальном времени по последовательным запросам (LongLive 1.0).
- 02Обучение и инференс с квантованием NVFP4 и FP8 и поддержкой параллелизма по последовательности (LongLive 2.0).
- 03Дистилляция на основе LoRA для переноса возможностей между моделями Wan2.1, Wan2.2 и MiniMax-H3 (LongLive-Plug).
- 04Обучение и инференс роботизированных политик на бенчмарках LIBERO, RoboTwin 2.0 и RoboCasa (Long-WAM).
- 05У каждого проекта свои код, документация и веса моделей; его можно загрузить с помощью sparse checkout.
Сценарии использования
- Генерация видео длительностью в несколько минут по потоку текстовых запросов для интерактивных творческих инструментов.
- Запуск моделей генерации длинных видео на GPU NVIDIA с квантованием для снижения потребления памяти и задержки.
- Повторное использование одной дистиллированной возможности в нескольких архитектурах генерации видео без переобучения каждой из них.
- Обучение и оценка роботизированных политик манипуляции на симуляционных бенчмарках или реальных роботизированных манипуляторах.
Быстрый старт
- 1
Клонируйте репозиторий с помощью частичного sparse checkout
git clone --filter=blob:none --sparse --single-branch --branch main --depth 1 https://github.com/NVlabs/LongLive.git - 2
Перейдите в клонированный репозиторий
cd LongLive - 3
Выполните checkout только проекта Long-WAM
git sparse-checkout set Long-WAM - 4
Перейдите в каталог проекта Long-WAM
cd Long-WAM
Что важно знать
- Это monorepo с четырьмя отдельными исследовательскими проектами, поэтому нужно выбрать один из них и следовать его собственным инструкциям по настройке.
- Модели для бенчмарка запускались на мощных GPU NVIDIA, например H100 и GB200, поэтому, вероятно, потребуются значительные ресурсы GPU.
Темы
Частые вопросы
- Что такое LongLive?
- Исследовательский монорепозиторий NVIDIA с четырьмя проектами для генерации длинных видео, моделей мира и робототехнических world-action-моделей. LongLive — коллекция исследовательских проектов NVIDIA, посвящённых авторегрессионной генерации видео большой длительности. Репозиторий разделён на четыре самостоятельные директории: LongLive 1.0 генерирует длинные видео в реальном времени по последовательным запросам пользователя, LongLive 2.0 предлагает квантование NVFP4 и параллелизм по последовательности для обучения и запуска моделей генерации длинных видео, LongLive-Plug переносит повторно используемые возможности в LoRA-адаптеры, подключаемые к последующим видеомоделям, а Long-WAM предоставляет world-action-модели с длинным контекстом для обучения и развёртывания роботизированных политик.
- LongLive можно использовать бесплатно? Какая у него лицензия?
- LongLive распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
- LongLive всё ещё поддерживается?
- Активно поддерживается. Последний коммит в LongLive — 19 окт. 2026 г..
- Для чего можно использовать LongLive?
- Генерация видео длительностью в несколько минут по потоку текстовых запросов для интерактивных творческих инструментов. Запуск моделей генерации длинных видео на GPU NVIDIA с квантованием для снижения потребления памяти и задержки. Повторное использование одной дистиллированной возможности в нескольких архитектурах генерации видео без переобучения каждой из них. Обучение и оценка роботизированных политик манипуляции на симуляционных бенчмарках или реальных роботизированных манипуляторах.
- Как установить LongLive?
- Клонируйте репозиторий с помощью частичного sparse checkout: git clone --filter=blob:none --sparse --single-branch --branch main --depth 1 https://github.com/NVlabs/LongLive.git Перейдите в клонированный репозиторий: cd LongLive Выполните checkout только проекта Long-WAM: git sparse-checkout set Long-WAM Перейдите в каталог проекта Long-WAM: cd Long-WAM
- Где скачать LongLive?
- Исходный код и инструкции по установке — на GitHub: https://github.com/NVlabs/LongLive
Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.
Похожие проекты
Движок с открытым исходным кодом для генерации изображений, видео и аудио с помощью Diffusion-моделей; поддерживает инференс и обучение при небольшом объёме VRAM.
Комплексный набор инструментов для дообучения диффузионных моделей изображений, видео и аудио на потребительских GPU через веб-интерфейс или CLI.
Открытые модели мира, датасеты и инструменты NVIDIA для разработчиков физического ИИ в робототехнике, автономном транспорте и умной инфраструктуре.
Инструмент на базе Stable Diffusion для создания комиксов с постоянными персонажами и длинных последовательностей «изображение в видео».
Интерактивная модель мира с открытым исходным кодом, которая превращает low-poly-кадры в игровые сцены с помощью потокового нейронного рендеринга.