fudan-generative-vision/hallo

这是什么？

核心功能

• 01根据一张图片和一段 WAV 音频生成说话人物视频。
• 02通过命令行参数调节姿态、面部和唇部动作的强度。
• 03提供两阶段训练脚本和数据预处理流程。
• 04基于 Stable Diffusion v1.5 与 AnimateDiff 运动模块构建。
• 05预训练模型可从 Hugging Face 获取。

适用场景

• 研究音频驱动人脸动画和说话头像生成的研究人员。
• 希望让人像照片配合英文配音说话的内容创作者。
• 基于自有视频数据训练定制人像动画模型的开发者。

快速上手

1. 1

   创建并激活 conda 环境

   conda create -n hallo python=3.10 && conda activate hallo
2. 2

   使用 pip 安装 Python 依赖

   pip install -r requirements.txt && pip install .
3. 3

   安装 ffmpeg（必需；Ubuntu 示例）

   apt-get install ffmpeg
4. 4

   将预训练模型下载到 pretrained_models 目录，然后用示例图片和音频运行推理

   python scripts/inference.py --source_image examples/reference_images/1.jpg --driving_audio examples/driving_audios/1.wav

使用前须知

• !需要 CUDA GPU；README 仅在 Ubuntu 20.04/22.04、CUDA 12.1 和 A100 上测试。
• !推理前需要下载数GB的预训练模型。
• !驱动音频必须是英文 WAV，因为训练数据仅为英文。
• !源图片需为正方形正面肖像，人脸占画面50%-70%。

收录于专题

标签

常见问题

hallo 是什么？

开源人像动画研究项目，可让静态人像照片随音频同步说话并生成视频。 Hallo 可以根据一张人像图片和一段 WAV 音频生成说话人物视频。模型从音频中推断表情、头部姿态和唇部动作，使静态照片看起来像在说出录音内容。推理通过命令行脚本 scripts/inference.py 运行，结果保存为 MP4 文件。

hallo 可以免费使用吗？用的什么许可证？

hallo 以 MIT 许可证开源。用于商业产品前，请先确认许可证条款。

hallo 还在维护吗？

超过半年未提交。hallo 最近一次提交是在 2024年9月14日。

hallo 适合用来做什么？

研究音频驱动人脸动画和说话头像生成的研究人员。 希望让人像照片配合英文配音说话的内容创作者。 基于自有视频数据训练定制人像动画模型的开发者。

hallo 怎么安装和运行？

创建并激活 conda 环境: conda create -n hallo python=3.10 && conda activate hallo 使用 pip 安装 Python 依赖: pip install -r requirements.txt && pip install . 安装 ffmpeg（必需；Ubuntu 示例）: apt-get install ffmpeg 将预训练模型下载到 pretrained_models 目录，然后用示例图片和音频运行推理: python scripts/inference.py --source_image examples/reference_images/1.jpg --driving_audio examples/driving_audios/1.wav

在哪里获取 hallo？

源代码和安装说明在 GitHub 上：https://github.com/fudan-generative-vision/hallo