Repolode
OpenBMB

OpenBMB/VoxCPM

VoxCPM2 是一个开源的免分词器语音合成模型,支持 30 种语言、文本描述设计音色和参考音频克隆。

可替代:ElevenLabs

Star
39,635
Fork
4,500
未关闭 Issue
135
最近提交
13天前

这是什么?

VoxCPM2 是 OpenBMB 开源的语音合成模型,采用免分词器的扩散自回归架构,直接生成连续的语音表示,而不是离散 token。模型参数量为 2B,基于 MiniCPM-4 主干网络构建,输出 48kHz 音频。

它覆盖多种使用方式:支持 30 种语言及多种中国方言的多语言合成;仅凭自然语言描述即可设计新音色,无需参考音频;也可以基于短参考片段进行克隆,并可选择加入风格控制。高保真模式同时接收参考音频及其文本,使生成内容延续参考语音的特征。

项目提供 Python API、命令行工具、本地 Web 演示和流式生成功能。部署方案包括 Nano-vLLM、带 OpenAI 兼容接口的 vLLM-Omni,以及面向端侧的 llama.cpp-omni。支持全量 SFT 和 LoRA 微调,权重与代码以 Apache-2.0 协议发布。

核心功能

  • 01支持 30 种语言及多种中国方言的语音合成,无需指定语言标签。
  • 02可通过性别、年龄、语气等文本描述设计全新音色。
  • 03基于短参考音频克隆音色,并可选择风格与情绪控制。
  • 04输出 48kHz 音频,参考音频输入为 16kHz 即可。
  • 05提供 Python API、命令行工具、Web 演示和流式生成。
  • 06支持全量微调与 LoRA 微调。

适用场景

  • 根据脚本生成多语言配音或旁白。
  • 为游戏、视频或虚拟助手设计定制角色音色。
  • 用克隆的说话人音色为视频配音或本地化。
  • 通过 llama.cpp-omni 在端侧离线运行语音合成。

快速上手

  1. 1

    用 pip 安装软件包

    pip install voxcpm
  2. 2

    在 Python 中加载模型并生成语音

  3. 3

    或启动本地网页演示

    python app.py --port 8808

使用前须知

  • 文档中的环境要求为 Python 3.10 至 3.13 之前的版本、PyTorch 2.5 或更高版本,以及 CUDA 12.0 或更高版本。
  • 高质量推理主要面向 GPU,README 中的实时率数据基于 NVIDIA RTX 4090 测得。
  • 模型参数量为 20 亿,需要从 Hugging Face 或 ModelScope 下载较大的模型文件。

标签

常见问题

VoxCPM 是什么?
VoxCPM2 是一个开源的免分词器语音合成模型,支持 30 种语言、文本描述设计音色和参考音频克隆。 VoxCPM2 是 OpenBMB 开源的语音合成模型,采用免分词器的扩散自回归架构,直接生成连续的语音表示,而不是离散 token。模型参数量为 2B,基于 MiniCPM-4 主干网络构建,输出 48kHz 音频。
VoxCPM 可以免费使用吗?用的什么许可证?
VoxCPM 以 Apache-2.0 许可证开源。用于商业产品前,请先确认许可证条款。
VoxCPM 还在维护吗?
活跃维护中。VoxCPM 最近一次提交是在 2026年10月8日。
VoxCPM 适合用来做什么?
根据脚本生成多语言配音或旁白。 为游戏、视频或虚拟助手设计定制角色音色。 用克隆的说话人音色为视频配音或本地化。 通过 llama.cpp-omni 在端侧离线运行语音合成。
VoxCPM 怎么安装和运行?
用 pip 安装软件包: pip install voxcpm 在 Python 中加载模型并生成语音 或启动本地网页演示: python app.py --port 8808
在哪里获取 VoxCPM?
源代码和安装说明在 GitHub 上:https://github.com/OpenBMB/VoxCPM

概要由 AI 根据项目 README 生成;GitHub 数据每日更新。

相关项目