Repolode
Alibaba-Quark

Alibaba-Quark/LiveAvatar

开源的实时音频驱动数字人视频生成框架,支持流式输出与无限时长生成。

Star
2,483
Fork
286
未关闭 Issue
46
最近提交
2个月前

这是什么?

LiveAvatar 根据音频、参考图片以及可选的文本提示生成说话数字人视频。它面向流式场景,画面持续逐段生成,而不是输出固定长度的片段,采用分块自回归方式,项目称可生成超过 10,000 秒的视频。

系统基于 Wan2.2-S2V-14B 基础模型加载 LiveAvatar LoRA,通过分布匹配蒸馏实现 4 步采样。项目给出的数据是在多卡 H800 上约 45 FPS。仓库提供多卡实时流式推理、单卡 80GB 显存下的离线生成脚本,以及 Gradio 网页界面。可选的 FP8 量化可在 48GB 显卡上运行,编译和 cuDNN 注意力选项可进一步提速。

项目采用 Apache-2.0 许可证,作者称其为研究预览版。模型权重托管在 Hugging Face,训练代码和 TTS 集成等功能仍在计划中。

核心功能

  • 01基于音频实时流式生成数字人视频
  • 02分块自回归生成,支持超长视频
  • 03通过分布匹配蒸馏实现 4 步采样
  • 04提供多卡与单卡推理脚本
  • 05单卡和多卡均支持 Gradio 网页界面
  • 06可选 FP8 量化与编译加速,降低显存占用

适用场景

  • 构建实时互动的数字人或虚拟主播应用
  • 根据音频生成长时长的说话数字人视频
  • 研究基于扩散模型的音频驱动视频生成
  • 在单张 80GB 显卡上离线生成数字人片段

快速上手

  1. 1

    创建并激活 conda 环境

    conda create -n liveavatar python=3.10 -y && conda activate liveavatar
  2. 2

    安装 PyTorch、FlashAttention 及 Python 依赖

    pip install torch==2.8.0 torchvision==0.23.0 --index-url https://download.pytorch.org/whl/cu128 && pip install flash-attn==2.8.3 --no-build-isolation && pip install -r requirements.txt
  3. 3

    将 Wan2.2-S2V-14B 基础模型和 LiveAvatar LoRA 下载到 ./ckpt/

    huggingface-cli download Wan-AI/Wan2.2-S2V-14B --local-dir ./ckpt/Wan2.2-S2V-14B && huggingface-cli download Quark-Vision/Live-Avatar --local-dir ./ckpt/LiveAvatar
  4. 4

    运行单卡命令行推理(需要 80GB 显存)

    bash infinite_inference_single_gpu.sh

使用前须知

  • 达到 45 FPS 实时效果需要多卡 H800 级别硬件,多卡流水线需要五张 GPU。
  • 推理至少需要 80GB 显存的 GPU;使用 FP8 可降至 48GB,但可能有轻微画质损失。
  • 需要下载 14B 基础模型和 LoRA 权重,并安装 FlashAttention。
  • README 称其为研究预览版,流式交互 UI 集成和训练代码尚未发布。

标签

常见问题

LiveAvatar 是什么?
开源的实时音频驱动数字人视频生成框架,支持流式输出与无限时长生成。 LiveAvatar 根据音频、参考图片以及可选的文本提示生成说话数字人视频。它面向流式场景,画面持续逐段生成,而不是输出固定长度的片段,采用分块自回归方式,项目称可生成超过 10,000 秒的视频。
LiveAvatar 可以免费使用吗?用的什么许可证?
LiveAvatar 以 Apache-2.0 许可证开源。用于商业产品前,请先确认许可证条款。
LiveAvatar 还在维护吗?
半年内有更新。LiveAvatar 最近一次提交是在 2026年8月24日。
LiveAvatar 适合用来做什么?
构建实时互动的数字人或虚拟主播应用 根据音频生成长时长的说话数字人视频 研究基于扩散模型的音频驱动视频生成 在单张 80GB 显卡上离线生成数字人片段
LiveAvatar 怎么安装和运行?
创建并激活 conda 环境: conda create -n liveavatar python=3.10 -y && conda activate liveavatar 安装 PyTorch、FlashAttention 及 Python 依赖: pip install torch==2.8.0 torchvision==0.23.0 --index-url https://download.pytorch.org/whl/cu128 && pip install flash-attn==2.8.3 --no-build-isolation && pip install -r requirements.txt 将 Wan2.2-S2V-14B 基础模型和 LiveAvatar LoRA 下载到 ./ckpt/: huggingface-cli download Wan-AI/Wan2.2-S2V-14B --local-dir ./ckpt/Wan2.2-S2V-14B && huggingface-cli download Quark-Vision/Live-Avatar --local-dir ./ckpt/LiveAvatar 运行单卡命令行推理(需要 80GB 显存): bash infinite_inference_single_gpu.sh
在哪里获取 LiveAvatar?
源代码和安装说明在 GitHub 上:https://github.com/Alibaba-Quark/LiveAvatar

概要由 AI 根据项目 README 生成;GitHub 数据每日更新。

相关项目