画像・動画・音声・3Dコンテンツをローカル生成するためのノードグラフGUI、API、バックエンド。
NVlabs/LongLive
長時間動画生成、世界モデル、ロボット向けWorld-Actionモデルを扱う4つのプロジェクトを収録したNVIDIAの研究用モノレポ。
- スター
- 2,813
- フォーク
- 266
- 未解決の Issue
- 2
- 最終コミット
- 3 日前
これは何?
LongLiveは、長時間の動画を生成する自己回帰型動画生成を軸とした、NVIDIAの研究プロジェクト集です。リポジトリは、それぞれ独立した4つのディレクトリで構成されています。LongLive 1.0は、ユーザーが順次入力するプロンプトからリアルタイムで長尺動画を生成します。LongLive 2.0は、長尺動画モデルの学習とサービング向けにNVFP4量子化とシーケンス並列化を提供します。LongLive-Plugは、再利用可能な機能をLoRAアダプターに蒸留し、下流の動画モデルに適用します。Long-WAMは、ロボットポリシーの学習とデプロイに使える、長いコンテキストに対応したWorld-Actionモデルを提供します。
partial cloneとsparse checkoutを使えば各プロジェクトを個別にチェックアウトできるため、必要な部分だけをダウンロードできます。公開済みのチェックポイントはHugging Faceで配布されており、LongLive-1.3B、LongLive 2.0の複数のバリエーションに加え、LIBERO、RoboTwin 2.0、RoboCasa向けのLong-WAMポリシーも含まれます。
リポジトリには、リアルタイムの世界モデリングや複数ショットのストリーミング動画生成への応用など、LongLiveを基盤とするサードパーティプロジェクトも掲載されています。
主な機能
- 01逐次入力されるプロンプトをもとに、リアルタイムで対話的に長尺動画を生成(LongLive 1.0)。
- 02シーケンス並列化に対応した、NVFP4およびFP8による量子化学習と推論(LongLive 2.0)。
- 03Wan2.1、Wan2.2、MiniMax-H3モデル間で機能を移転する、LoRAベースの蒸留(LongLive-Plug)。
- 04LIBERO、RoboTwin 2.0、RoboCasaのベンチマークでロボットポリシーを学習・推論(Long-WAM)。
- 05各プロジェクトはコード、ドキュメント、モデル重みをそれぞれ備え、sparse checkoutで取得可能。
ユースケース
- テキストプロンプトを連続して入力し、数分間の動画を生成する対話型クリエイティブツール。
- 量子化でメモリ使用量とレイテンシを抑えながら、NVIDIA GPU上で長尺動画生成モデルをサービング。
- モデルごとに再学習することなく、蒸留した機能を複数の動画生成バックボーンで再利用。
- シミュレーションベンチマークや実機アームで、ロボットのマニピュレーションポリシーを学習・評価。
クイックスタート
- 1
部分的な sparse checkout でリポジトリをクローンする
git clone --filter=blob:none --sparse --single-branch --branch main --depth 1 https://github.com/NVlabs/LongLive.git - 2
クローンしたリポジトリに移動する
cd LongLive - 3
Long-WAM プロジェクトのみをチェックアウトする
git sparse-checkout set Long-WAM - 4
Long-WAM プロジェクトのディレクトリに移動する
cd Long-WAM
使う前に知っておきたいこと
- これは4つの独立した研究プロジェクトからなる monorepo なので、1つを選び、それぞれのセットアップ手順に従う必要があります。
- ベンチマーク対象のモデルは H100 や GB200 などのハイエンド NVIDIA GPU で実行されているため、大規模な GPU リソースが必要になる可能性があります。
トピック
よくある質問
- LongLive とは?
- 長時間動画生成、世界モデル、ロボット向けWorld-Actionモデルを扱う4つのプロジェクトを収録したNVIDIAの研究用モノレポ。 LongLiveは、長時間の動画を生成する自己回帰型動画生成を軸とした、NVIDIAの研究プロジェクト集です。リポジトリは、それぞれ独立した4つのディレクトリで構成されています。LongLive 1.0は、ユーザーが順次入力するプロンプトからリアルタイムで長尺動画を生成します。LongLive 2.0は、長尺動画モデルの学習とサービング向けにNVFP4量子化とシーケンス並列化を提供します。LongLive-Plugは、再利用可能な機能をLoRAアダプターに蒸留し、下流の動画モデルに適用します。Long-WAMは、ロボットポリシーの学習とデプロイに使える、長いコンテキストに対応したWorld-Actionモデルを提供します。
- LongLive は無料で使えますか?ライセンスは?
- LongLive は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
- LongLive は今もメンテナンスされていますか?
- 活発にメンテナンス中。LongLive の最終コミットは 2026年10月19日 です。
- LongLive は何に使えますか?
- テキストプロンプトを連続して入力し、数分間の動画を生成する対話型クリエイティブツール。 量子化でメモリ使用量とレイテンシを抑えながら、NVIDIA GPU上で長尺動画生成モデルをサービング。 モデルごとに再学習することなく、蒸留した機能を複数の動画生成バックボーンで再利用。 シミュレーションベンチマークや実機アームで、ロボットのマニピュレーションポリシーを学習・評価。
- LongLive のインストール方法は?
- 部分的な sparse checkout でリポジトリをクローンする: git clone --filter=blob:none --sparse --single-branch --branch main --depth 1 https://github.com/NVlabs/LongLive.git クローンしたリポジトリに移動する: cd LongLive Long-WAM プロジェクトのみをチェックアウトする: git sparse-checkout set Long-WAM Long-WAM プロジェクトのディレクトリに移動する: cd Long-WAM
- LongLive はどこで入手できますか?
- ソースコードとインストール手順は GitHub にあります:https://github.com/NVlabs/LongLive
概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。
関連プロジェクト
低VRAMでの推論・学習に対応した、画像・動画・音声生成向けのオープンソースDiffusionモデルエンジン。
Web UIまたはCLIから、一般向けGPUで画像・動画・音声の拡散モデルをファインチューニングできるオールインワンの学習ツールキット。
NVIDIAが提供する、ロボット、自動運転車、スマートインフラ向けのフィジカルAI開発に役立つ基盤モデル、データセット、ツール。
キャラクターの一貫性を保った漫画画像や、長距離の画像から動画へのシーケンスを生成するStable Diffusionベースのオープンソースツール。
ストリーミングニューラルレンダリングで、低ポリゴンのフレームからプレイ可能なゲームシーンを生成するオープンソースのインタラクティブなワールドモデル。