OpenTalker/SadTalker

这是什么？

核心功能

• 01根据一张人像图片和一段音频生成说话人视频。
• 02通过 3D 运动系数从音频预测头部姿态和表情。
• 03提供可本地运行的 Gradio WebUI 和命令行工具。
• 04提供 stable-diffusion-webui 扩展。
• 05支持全身静态模式，并可选用 GFPGAN 增强人脸画质。

适用场景

• 从单张照片制作说话人视频，用于内容创作或演示。
• 在研究中探索音频驱动的人脸动画。
• 在 stable-diffusion-webui 工作流中加入口型同步的虚拟人说话效果。

快速上手

1. 1

   克隆仓库

   git clone https://github.com/OpenTalker/SadTalker.git
2. 2

   创建并激活 Python 3.8 conda 环境

   conda create -n sadtalker python=3.8
3. 3

   安装依赖

   pip install -r requirements.txt
4. 4

   下载预训练模型（在仓库根目录运行）

   bash scripts/download_models.sh

使用前须知

• !需要配置支持 CUDA 的 PyTorch 环境，并在首次使用前手动下载模型。
• !元数据中的许可证显示为 NOASSERTION，商业使用前请先核实仓库许可证。
• !Gradio 演示需要另外安装 Coqui TTS，Windows 和 macOS 的安装步骤也更复杂。

收录于专题

标签

常见问题

SadTalker 是什么？

根据一张人像图片和一段音频生成说话人视频，基于 3D 运动系数实现（CVPR 2023）。 SadTalker 可以让一张静态人像照片按照输入的音频说话，口型与语音同步。项目从音频中预测 3D 运动系数，包括头部姿态和面部表情，再用这些系数渲染出说话人脸视频。

SadTalker 可以免费使用吗？用的什么许可证？

SadTalker 以 Other 许可证开源。用于商业产品前，请先确认许可证条款。

SadTalker 还在维护吗？

超过半年未提交。SadTalker 最近一次提交是在 2024年6月26日。

SadTalker 适合用来做什么？

从单张照片制作说话人视频，用于内容创作或演示。 在研究中探索音频驱动的人脸动画。 在 stable-diffusion-webui 工作流中加入口型同步的虚拟人说话效果。

SadTalker 怎么安装和运行？

克隆仓库: git clone https://github.com/OpenTalker/SadTalker.git 创建并激活 Python 3.8 conda 环境: conda create -n sadtalker python=3.8 安装依赖: pip install -r requirements.txt 下载预训练模型（在仓库根目录运行）: bash scripts/download_models.sh

在哪里获取 SadTalker？

源代码和安装说明在 GitHub 上：https://github.com/OpenTalker/SadTalker