Repolode
NVlabs

NVlabs/LongLive

Исследовательский монорепозиторий NVIDIA с четырьмя проектами для генерации длинных видео, моделей мира и робототехнических world-action-моделей.

Звёзды
2,813
Форки
266
Открытые issues
2
Последний коммит
позавчера

Что это?

LongLive — коллекция исследовательских проектов NVIDIA, посвящённых авторегрессионной генерации видео большой длительности. Репозиторий разделён на четыре самостоятельные директории: LongLive 1.0 генерирует длинные видео в реальном времени по последовательным запросам пользователя, LongLive 2.0 предлагает квантование NVFP4 и параллелизм по последовательности для обучения и запуска моделей генерации длинных видео, LongLive-Plug переносит повторно используемые возможности в LoRA-адаптеры, подключаемые к последующим видеомоделям, а Long-WAM предоставляет world-action-модели с длинным контекстом для обучения и развёртывания роботизированных политик.

Каждый проект можно клонировать отдельно с помощью partial clone и sparse checkout, чтобы загружать только нужную часть репозитория. Опубликованные чекпойнты доступны на Hugging Face: среди них LongLive-1.3B, несколько вариантов LongLive 2.0 и политики Long-WAM для LIBERO, RoboTwin 2.0 и RoboCasa.

В репозитории также перечислены сторонние проекты на базе LongLive, например адаптации для моделирования мира в реальном времени и потоковой генерации видео из нескольких планов.

Ключевые возможности

  • 01Интерактивная генерация длинных видео в реальном времени по последовательным запросам (LongLive 1.0).
  • 02Обучение и инференс с квантованием NVFP4 и FP8 и поддержкой параллелизма по последовательности (LongLive 2.0).
  • 03Дистилляция на основе LoRA для переноса возможностей между моделями Wan2.1, Wan2.2 и MiniMax-H3 (LongLive-Plug).
  • 04Обучение и инференс роботизированных политик на бенчмарках LIBERO, RoboTwin 2.0 и RoboCasa (Long-WAM).
  • 05У каждого проекта свои код, документация и веса моделей; его можно загрузить с помощью sparse checkout.

Сценарии использования

  • Генерация видео длительностью в несколько минут по потоку текстовых запросов для интерактивных творческих инструментов.
  • Запуск моделей генерации длинных видео на GPU NVIDIA с квантованием для снижения потребления памяти и задержки.
  • Повторное использование одной дистиллированной возможности в нескольких архитектурах генерации видео без переобучения каждой из них.
  • Обучение и оценка роботизированных политик манипуляции на симуляционных бенчмарках или реальных роботизированных манипуляторах.

Быстрый старт

  1. 1

    Клонируйте репозиторий с помощью частичного sparse checkout

    git clone --filter=blob:none --sparse --single-branch --branch main --depth 1 https://github.com/NVlabs/LongLive.git
  2. 2

    Перейдите в клонированный репозиторий

    cd LongLive
  3. 3

    Выполните checkout только проекта Long-WAM

    git sparse-checkout set Long-WAM
  4. 4

    Перейдите в каталог проекта Long-WAM

    cd Long-WAM

Что важно знать

  • Это monorepo с четырьмя отдельными исследовательскими проектами, поэтому нужно выбрать один из них и следовать его собственным инструкциям по настройке.
  • Модели для бенчмарка запускались на мощных GPU NVIDIA, например H100 и GB200, поэтому, вероятно, потребуются значительные ресурсы GPU.

Темы

Частые вопросы

Что такое LongLive?
Исследовательский монорепозиторий NVIDIA с четырьмя проектами для генерации длинных видео, моделей мира и робототехнических world-action-моделей. LongLive — коллекция исследовательских проектов NVIDIA, посвящённых авторегрессионной генерации видео большой длительности. Репозиторий разделён на четыре самостоятельные директории: LongLive 1.0 генерирует длинные видео в реальном времени по последовательным запросам пользователя, LongLive 2.0 предлагает квантование NVFP4 и параллелизм по последовательности для обучения и запуска моделей генерации длинных видео, LongLive-Plug переносит повторно используемые возможности в LoRA-адаптеры, подключаемые к последующим видеомоделям, а Long-WAM предоставляет world-action-модели с длинным контекстом для обучения и развёртывания роботизированных политик.
LongLive можно использовать бесплатно? Какая у него лицензия?
LongLive распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
LongLive всё ещё поддерживается?
Активно поддерживается. Последний коммит в LongLive — 19 окт. 2026 г..
Для чего можно использовать LongLive?
Генерация видео длительностью в несколько минут по потоку текстовых запросов для интерактивных творческих инструментов. Запуск моделей генерации длинных видео на GPU NVIDIA с квантованием для снижения потребления памяти и задержки. Повторное использование одной дистиллированной возможности в нескольких архитектурах генерации видео без переобучения каждой из них. Обучение и оценка роботизированных политик манипуляции на симуляционных бенчмарках или реальных роботизированных манипуляторах.
Как установить LongLive?
Клонируйте репозиторий с помощью частичного sparse checkout: git clone --filter=blob:none --sparse --single-branch --branch main --depth 1 https://github.com/NVlabs/LongLive.git Перейдите в клонированный репозиторий: cd LongLive Выполните checkout только проекта Long-WAM: git sparse-checkout set Long-WAM Перейдите в каталог проекта Long-WAM: cd Long-WAM
Где скачать LongLive?
Исходный код и инструкции по установке — на GitHub: https://github.com/NVlabs/LongLive

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты