Resemble AI 开源的文本转语音模型系列,支持基于参考音频的声音克隆,覆盖英语及多种其他语言。
- Star
- 39,635
- Fork
- 4,500
- 未关闭 Issue
- 135
- 最近提交
- 13天前
这是什么?
VoxCPM2 是 OpenBMB 开源的语音合成模型,采用免分词器的扩散自回归架构,直接生成连续的语音表示,而不是离散 token。模型参数量为 2B,基于 MiniCPM-4 主干网络构建,输出 48kHz 音频。
它覆盖多种使用方式:支持 30 种语言及多种中国方言的多语言合成;仅凭自然语言描述即可设计新音色,无需参考音频;也可以基于短参考片段进行克隆,并可选择加入风格控制。高保真模式同时接收参考音频及其文本,使生成内容延续参考语音的特征。
项目提供 Python API、命令行工具、本地 Web 演示和流式生成功能。部署方案包括 Nano-vLLM、带 OpenAI 兼容接口的 vLLM-Omni,以及面向端侧的 llama.cpp-omni。支持全量 SFT 和 LoRA 微调,权重与代码以 Apache-2.0 协议发布。
核心功能
- 01支持 30 种语言及多种中国方言的语音合成,无需指定语言标签。
- 02可通过性别、年龄、语气等文本描述设计全新音色。
- 03基于短参考音频克隆音色,并可选择风格与情绪控制。
- 04输出 48kHz 音频,参考音频输入为 16kHz 即可。
- 05提供 Python API、命令行工具、Web 演示和流式生成。
- 06支持全量微调与 LoRA 微调。
适用场景
- 根据脚本生成多语言配音或旁白。
- 为游戏、视频或虚拟助手设计定制角色音色。
- 用克隆的说话人音色为视频配音或本地化。
- 通过 llama.cpp-omni 在端侧离线运行语音合成。
快速上手
- 1
用 pip 安装软件包
pip install voxcpm - 2
在 Python 中加载模型并生成语音
- 3
或启动本地网页演示
python app.py --port 8808
使用前须知
- 文档中的环境要求为 Python 3.10 至 3.13 之前的版本、PyTorch 2.5 或更高版本,以及 CUDA 12.0 或更高版本。
- 高质量推理主要面向 GPU,README 中的实时率数据基于 NVIDIA RTX 4090 测得。
- 模型参数量为 20 亿,需要从 Hugging Face 或 ModelScope 下载较大的模型文件。
标签
常见问题
- VoxCPM 是什么?
- VoxCPM2 是一个开源的免分词器语音合成模型,支持 30 种语言、文本描述设计音色和参考音频克隆。 VoxCPM2 是 OpenBMB 开源的语音合成模型,采用免分词器的扩散自回归架构,直接生成连续的语音表示,而不是离散 token。模型参数量为 2B,基于 MiniCPM-4 主干网络构建,输出 48kHz 音频。
- VoxCPM 可以免费使用吗?用的什么许可证?
- VoxCPM 以 Apache-2.0 许可证开源。用于商业产品前,请先确认许可证条款。
- VoxCPM 还在维护吗?
- 活跃维护中。VoxCPM 最近一次提交是在 2026年10月8日。
- VoxCPM 适合用来做什么?
- 根据脚本生成多语言配音或旁白。 为游戏、视频或虚拟助手设计定制角色音色。 用克隆的说话人音色为视频配音或本地化。 通过 llama.cpp-omni 在端侧离线运行语音合成。
- VoxCPM 怎么安装和运行?
- 用 pip 安装软件包: pip install voxcpm 在 Python 中加载模型并生成语音 或启动本地网页演示: python app.py --port 8808
- 在哪里获取 VoxCPM?
- 源代码和安装说明在 GitHub 上:https://github.com/OpenBMB/VoxCPM
概要由 AI 根据项目 README 生成;GitHub 数据每日更新。
相关项目
2.7万3649PythonMIT更新于 3个月前
开源多语言零样本语音合成模型,支持 600 多种语言,并可克隆与设计声音。
1.5万2206PythonApache-2.0更新于 8天前
开源文本转语音系统,支持声音克隆、自然语言控制情绪和多角色语音生成。
3.3万2894PythonOther更新于 7天前
开源文本转语音库,KittenTTS 2 可从几秒音频克隆声音,并能在 CPU 上实时合成。
1.6万967PythonApache-2.0更新于 4天前
Kokoro-82M 文字转语音模型的 Python 推理库,模型参数量为 8200 万。
94741054JavaScriptApache-2.0更新于 去年
基于 ZipVoice 的轻量级 TTS 模型,支持声音克隆与 48kHz 语音生成,GPU 上可达 150 倍实时速度。
5487685PythonApache-2.0更新于 5个月前