k2-fsa/OmniVoice

这是什么？

核心功能

• 01基于短参考音频的零样本音色克隆。
• 02通过性别、年龄、音调、风格、口音或中文方言描述来设计声音。
• 03文本中可插入 [laughter]、[sigh] 等非语言标签。
• 04支持拼音和 CMU 音素输入，用于纠正发音。
• 05可在 NVIDIA、Apple Silicon 和 Intel Arc GPU 上运行。
• 06提供 Python API、Gradio 网页界面及支持多 GPU 批量推理的命令行工具。

适用场景

• 为多种语言制作配音或旁白。
• 在获得授权的前提下，克隆特定说话人的音色用于个性化语音输出。
• 利用多块 GPU 批量生成大量语音音频。
• 在本地 Gradio 界面中快速验证 TTS 功能，再集成到应用中。

快速上手

1. 1

   为你的硬件安装 PyTorch（以 NVIDIA GPU 为例）

   pip install torch==2.8.0+cu128 torchaudio==2.8.0+cu128 --extra-index-url https://download.pytorch.org/whl/cu128
2. 2

   从 PyPI 安装 OmniVoice

   pip install omnivoice
3. 3

   启动本地网页演示

   omnivoice-demo --ip 0.0.0.0 --port 8001

使用前须知

• !声音设计仅使用中文和英文数据训练，其他语言的结果可能不稳定。
• !要获得较好的运行效果通常需要 GPU（CUDA、Apple Silicon MPS 或 Intel Arc XPU），并且需要从 Hugging Face 下载预训练模型。
• !FlashInfer 加速功能仅适用于 NVIDIA GPU。

标签

常见问题

OmniVoice 是什么？

开源多语言零样本语音合成模型，支持 600 多种语言，并可克隆与设计声音。 OmniVoice 是一个语音合成（TTS）模型，支持 600 多种语言的零样本生成，无需为每种语言单独训练。模型采用类扩散语言模型的架构，既能基于一段短参考音频克隆音色，也能通过性别、年龄、音调、口音、中文方言等属性描述来设计声音。

OmniVoice 可以免费使用吗？用的什么许可证？

OmniVoice 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。

OmniVoice 还在维护吗？

活跃维护中。OmniVoice 最近一次提交是在 2026年10月12日。

OmniVoice 适合用来做什么？

为多种语言制作配音或旁白。 在获得授权的前提下，克隆特定说话人的音色用于个性化语音输出。 利用多块 GPU 批量生成大量语音音频。 在本地 Gradio 界面中快速验证 TTS 功能，再集成到应用中。

OmniVoice 怎么安装和运行？

为你的硬件安装 PyTorch（以 NVIDIA GPU 为例）: pip install torch==2.8.0+cu128 torchaudio==2.8.0+cu128 --extra-index-url https://download.pytorch.org/whl/cu128 从 PyPI 安装 OmniVoice: pip install omnivoice 启动本地网页演示: omnivoice-demo --ip 0.0.0.0 --port 8001

在哪里获取 OmniVoice？

源代码和安装说明在 GitHub 上：https://github.com/k2-fsa/OmniVoice