开源的大规模视频生成模型,支持文生视频、图生视频、语音生视频和角色动画。
Alibaba-Quark/LiveAvatar
开源的实时音频驱动数字人视频生成框架,支持流式输出与无限时长生成。
- Star
- 2,483
- Fork
- 286
- 未关闭 Issue
- 46
- 最近提交
- 2个月前
这是什么?
LiveAvatar 根据音频、参考图片以及可选的文本提示生成说话数字人视频。它面向流式场景,画面持续逐段生成,而不是输出固定长度的片段,采用分块自回归方式,项目称可生成超过 10,000 秒的视频。
系统基于 Wan2.2-S2V-14B 基础模型加载 LiveAvatar LoRA,通过分布匹配蒸馏实现 4 步采样。项目给出的数据是在多卡 H800 上约 45 FPS。仓库提供多卡实时流式推理、单卡 80GB 显存下的离线生成脚本,以及 Gradio 网页界面。可选的 FP8 量化可在 48GB 显卡上运行,编译和 cuDNN 注意力选项可进一步提速。
项目采用 Apache-2.0 许可证,作者称其为研究预览版。模型权重托管在 Hugging Face,训练代码和 TTS 集成等功能仍在计划中。
核心功能
- 01基于音频实时流式生成数字人视频
- 02分块自回归生成,支持超长视频
- 03通过分布匹配蒸馏实现 4 步采样
- 04提供多卡与单卡推理脚本
- 05单卡和多卡均支持 Gradio 网页界面
- 06可选 FP8 量化与编译加速,降低显存占用
适用场景
- 构建实时互动的数字人或虚拟主播应用
- 根据音频生成长时长的说话数字人视频
- 研究基于扩散模型的音频驱动视频生成
- 在单张 80GB 显卡上离线生成数字人片段
快速上手
- 1
创建并激活 conda 环境
conda create -n liveavatar python=3.10 -y && conda activate liveavatar - 2
安装 PyTorch、FlashAttention 及 Python 依赖
pip install torch==2.8.0 torchvision==0.23.0 --index-url https://download.pytorch.org/whl/cu128 && pip install flash-attn==2.8.3 --no-build-isolation && pip install -r requirements.txt - 3
将 Wan2.2-S2V-14B 基础模型和 LiveAvatar LoRA 下载到 ./ckpt/
huggingface-cli download Wan-AI/Wan2.2-S2V-14B --local-dir ./ckpt/Wan2.2-S2V-14B && huggingface-cli download Quark-Vision/Live-Avatar --local-dir ./ckpt/LiveAvatar - 4
运行单卡命令行推理(需要 80GB 显存)
bash infinite_inference_single_gpu.sh
使用前须知
- 达到 45 FPS 实时效果需要多卡 H800 级别硬件,多卡流水线需要五张 GPU。
- 推理至少需要 80GB 显存的 GPU;使用 FP8 可降至 48GB,但可能有轻微画质损失。
- 需要下载 14B 基础模型和 LoRA 权重,并安装 FlashAttention。
- README 称其为研究预览版,流式交互 UI 集成和训练代码尚未发布。
标签
常见问题
- LiveAvatar 是什么?
- 开源的实时音频驱动数字人视频生成框架,支持流式输出与无限时长生成。 LiveAvatar 根据音频、参考图片以及可选的文本提示生成说话数字人视频。它面向流式场景,画面持续逐段生成,而不是输出固定长度的片段,采用分块自回归方式,项目称可生成超过 10,000 秒的视频。
- LiveAvatar 可以免费使用吗?用的什么许可证?
- LiveAvatar 以 Apache-2.0 许可证开源。用于商业产品前,请先确认许可证条款。
- LiveAvatar 还在维护吗?
- 半年内有更新。LiveAvatar 最近一次提交是在 2026年8月24日。
- LiveAvatar 适合用来做什么?
- 构建实时互动的数字人或虚拟主播应用 根据音频生成长时长的说话数字人视频 研究基于扩散模型的音频驱动视频生成 在单张 80GB 显卡上离线生成数字人片段
- LiveAvatar 怎么安装和运行?
- 创建并激活 conda 环境: conda create -n liveavatar python=3.10 -y && conda activate liveavatar 安装 PyTorch、FlashAttention 及 Python 依赖: pip install torch==2.8.0 torchvision==0.23.0 --index-url https://download.pytorch.org/whl/cu128 && pip install flash-attn==2.8.3 --no-build-isolation && pip install -r requirements.txt 将 Wan2.2-S2V-14B 基础模型和 LiveAvatar LoRA 下载到 ./ckpt/: huggingface-cli download Wan-AI/Wan2.2-S2V-14B --local-dir ./ckpt/Wan2.2-S2V-14B && huggingface-cli download Quark-Vision/Live-Avatar --local-dir ./ckpt/LiveAvatar 运行单卡命令行推理(需要 80GB 显存): bash infinite_inference_single_gpu.sh
- 在哪里获取 LiveAvatar?
- 源代码和安装说明在 GitHub 上:https://github.com/Alibaba-Quark/LiveAvatar
概要由 AI 根据项目 README 生成;GitHub 数据每日更新。
相关项目
开源的交互式游戏视频生成模型,可根据参考图和键鼠操作生成可控的游戏风格视频。
基于节点图的扩散模型图形界面、API 与后端,可在本地生成图像、视频、音频和 3D 内容。
基于 vLLM 扩展的推理服务框架,支持文本、图像、音频、视频等全模态模型部署。
开源交互式世界模型,通过流式神经渲染把低多边形画面实时转换为可操作的游戏场景。
基于 Gradio 的 Stable Diffusion 网页界面,延续 Forge 分支并支持多种新模型与性能优化。