Alibaba-Quark/LiveAvatar

これは何？

主な機能

• 01音声駆動アバター動画のリアルタイムストリーミング生成
• 02非常に長い動画に対応するブロック単位の自己回帰生成
• 03distribution-matching distillationによる4ステップサンプリング
• 04マルチGPUおよびシングルGPU向け推論スクリプト
• 05シングルGPU構成とマルチGPU構成の両方に対応するGradio Web UI
• 06高速化とVRAM使用量削減のためのオプションのFP8量子化とコンパイル

ユースケース

• リアルタイムで対話できるデジタルヒューマンやバーチャルホストのアプリケーション開発
• 音声から長尺の話すアバター動画を生成
• 拡散モデルを用いた音声駆動動画生成の研究
• 80GB GPU 1枚を使い、オフライン用の動画を生成

クイックスタート

1. 1

   conda環境を作成して有効化する

   conda create -n liveavatar python=3.10 -y && conda activate liveavatar
2. 2

   PyTorchとFlashAttentionをインストールし、その後Pythonの依存関係をインストールする

   pip install torch==2.8.0 torchvision==0.23.0 --index-url https://download.pytorch.org/whl/cu128 && pip install flash-attn==2.8.3 --no-build-isolation && pip install -r requirements.txt
3. 3

   Wan2.2-S2V-14BのベースモデルとLiveAvatar LoRAを./ckpt/にダウンロードする

   huggingface-cli download Wan-AI/Wan2.2-S2V-14B --local-dir ./ckpt/Wan2.2-S2V-14B && huggingface-cli download Quark-Vision/Live-Avatar --local-dir ./ckpt/LiveAvatar
4. 4

   単一GPUでCLI推論を実行する（80GB VRAMが必要）

   bash infinite_inference_single_gpu.sh

使う前に知っておきたいこと

• !リアルタイムで45 FPSを実現するにはH800クラスのマルチGPU環境が必要で、マルチGPUパイプラインには5基のGPUが必要です。
• !推論には最低80GB VRAMのGPUが必要です。FP8を使用すれば48GBでも可能ですが、品質が低下する場合があります。
• !14BベースモデルとLoRAのダウンロード、およびFlashAttentionのインストールが必要です。
• !READMEでは研究プレビューと説明されており、UI連携と学習コードはまだ公開されていません。

トピック

よくある質問

LiveAvatar とは？

14B拡散モデルを基盤に、ストリーミングで長さ無制限の音声駆動アバター動画を生成するオープンソース研究フレームワーク。 LiveAvatarは、音声トラックと参照画像から、任意のテキストプロンプトも指定して、話すアバターの動画を生成します。ストリーミング利用を想定しており、固定長の動画を一度に生成するのではなく、フレームを連続して出力します。プロジェクトによると、ブロック単位の自己回帰方式により、10,000秒を超える動画にも対応します。

LiveAvatar は無料で使えますか？ライセンスは？

LiveAvatar は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

LiveAvatar は今もメンテナンスされていますか？

半年以内に更新あり。LiveAvatar の最終コミットは 2026年8月24日 です。

LiveAvatar は何に使えますか？

リアルタイムで対話できるデジタルヒューマンやバーチャルホストのアプリケーション開発 音声から長尺の話すアバター動画を生成 拡散モデルを用いた音声駆動動画生成の研究 80GB GPU 1枚を使い、オフライン用の動画を生成

LiveAvatar のインストール方法は？

conda環境を作成して有効化する: conda create -n liveavatar python=3.10 -y && conda activate liveavatar PyTorchとFlashAttentionをインストールし、その後Pythonの依存関係をインストールする: pip install torch==2.8.0 torchvision==0.23.0 --index-url https://download.pytorch.org/whl/cu128 && pip install flash-attn==2.8.3 --no-build-isolation && pip install -r requirements.txt Wan2.2-S2V-14BのベースモデルとLiveAvatar LoRAを./ckpt/にダウンロードする: huggingface-cli download Wan-AI/Wan2.2-S2V-14B --local-dir ./ckpt/Wan2.2-S2V-14B && huggingface-cli download Quark-Vision/Live-Avatar --local-dir ./ckpt/LiveAvatar 単一GPUでCLI推論を実行する（80GB VRAMが必要）: bash infinite_inference_single_gpu.sh

LiveAvatar はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/Alibaba-Quark/LiveAvatar