英伟达开源的语音AI工具包，用于构建、微调和部署语音识别、语音合成及语音大模型。
1.9万3654PythonApache-2.0更新于 昨天
microsoft/VibeVoice
微软开源的语音 AI 模型系列，包含长音频语音识别、多人对话语音合成和实时流式语音合成。
- Star
- 54,889
- Fork
- 6,175
- 未关闭 Issue
- 201
- 最近提交
- 13天前
这是什么？
VibeVoice 是微软开源的语音 AI 模型系列，同时覆盖语音识别和语音合成。其中 VibeVoice-ASR 可在一次处理中转写长达 60 分钟的音频，输出说话人、时间戳和文本内容，并支持自定义热词和流式识别。
在语音生成方面，VibeVoice-TTS 可合成最长 90 分钟、最多 4 位说话人的对话音频；VibeVoice-Realtime-0.5B 是轻量级模型，支持流式文本输入，用于低延迟语音输出。模型采用 7.5 Hz 的连续语音分词器，结合大语言模型与扩散头生成声学细节。
仓库还提供 ASR 模型的微调代码、基于 vLLM 的推理服务，以及面向 CPU 的 BitNet 量化版本。模型权重发布在 Hugging Face 上，项目说明其定位为研究与开发用途。
核心功能
- 01单次处理最长 60 分钟音频，输出说话人标签和时间戳。
- 02支持自定义热词，提升特定领域词汇的识别准确率。
- 03提供流式语音识别，按音频分块输出文本。
- 04可生成最长 90 分钟、最多 4 位说话人的多人对话语音。
- 05提供 0.5B 参数的实时语音合成模型，支持流式文本输入。
- 06包含 ASR 微调代码，并支持 vLLM 推理。
适用场景
- 转写长会议、访谈或播客，并标注说话人。
- 根据脚本生成多人播客风格的音频。
- 构建低延迟语音助手，将流式文本实时转为语音。
- 在自有数据上微调语音识别模型进行实验。
快速上手
- 1
打开实时流式 TTS 模型的 Colab 笔记本
- 2
在在线 Playground 中试用 ASR 模型
使用前须知
- README 称这些模型仅用于研究和开发，在未经进一步测试的情况下不建议用于商业场景。
- 在发现被不当使用后，VibeVoice-TTS 代码已从本仓库中移除。
- README 警告输出可能不准确或存在偏见，且模型可能被滥用于制作深度伪造内容。
标签
常见问题
- VibeVoice 是什么？
- 微软开源的语音 AI 模型系列，包含长音频语音识别、多人对话语音合成和实时流式语音合成。 VibeVoice 是微软开源的语音 AI 模型系列，同时覆盖语音识别和语音合成。其中 VibeVoice-ASR 可在一次处理中转写长达 60 分钟的音频，输出说话人、时间戳和文本内容，并支持自定义热词和流式识别。
- VibeVoice 可以免费使用吗？用的什么许可证？
- VibeVoice 以 MIT 许可证开源。用于商业产品前，请先确认许可证条款。
- VibeVoice 还在维护吗？
- 活跃维护中。VibeVoice 最近一次提交是在 2026年10月8日。
- VibeVoice 适合用来做什么？
- 转写长会议、访谈或播客，并标注说话人。 根据脚本生成多人播客风格的音频。 构建低延迟语音助手，将流式文本实时转为语音。 在自有数据上微调语音识别模型进行实验。
- VibeVoice 怎么安装和运行？
- 打开实时流式 TTS 模型的 Colab 笔记本 在在线 Playground 中试用 ASR 模型
- 在哪里获取 VibeVoice？
- 源代码和安装说明在 GitHub 上：https://github.com/microsoft/VibeVoice
概要由 AI 根据项目 README 生成；GitHub 数据每日更新。
相关项目
Soprano 是一个超轻量、可在本地运行的文本转语音模型，支持流式输出。
1618138PythonApache-2.0更新于 9个月前
零样本语音合成系统，仅凭一段参考音频即可克隆音色，并支持情感、语速和发音控制。
2.5万2908PythonOther更新于 22天前
Kokoro-82M 文字转语音模型的 Python 推理库，模型参数量为 8200 万。
94741054JavaScriptApache-2.0更新于 去年
VoxCPM2 是一个开源的免分词器语音合成模型，支持 30 种语言、文本描述设计音色和参考音频克隆。
4万4500PythonApache-2.0更新于 13天前
基于 Flow Matching 与 Diffusion Transformer 的开源语音合成系统，可用短参考音频进行零样本音色克隆。
1.5万2250PythonMIT更新于 7天前