NVIDIA-NeMo/Speech

这是什么？

核心功能

• 01支持流式和离线模式的自动语音识别模型
• 02支持多语言的语音合成模型
• 03提供语音大模型及全双工语音对话模型
• 04预训练模型权重发布在 Hugging Face 上
• 05可通过 uv、Docker 或 pip 安装，并兼容已有的 PyTorch 环境

适用场景

• 为特定语言或领域构建或微调语音识别系统
• 在英伟达 GPU 上部署低延迟的流式转写服务
• 为应用生成多语言语音合成音色
• 研究语音大模型和语音对话智能体

快速上手

1. 1

   克隆代码仓库

   git clone https://github.com/NVIDIA-NeMo/Speech.git
2. 2

   进入项目目录

   cd Speech
3. 3

   使用 uv 安装受支持的环境（CUDA 13.x）

   uv sync --extra all --extra cu13
4. 4

   或通过 pip 安装到现有 PyTorch 环境中

   uv pip install 'nemo-toolkit[asr,tts]'

使用前须知

• !训练需要支持 CUDA 的 NVIDIA GPU。
• !需要 Python 3.12 或更高版本以及 PyTorch 2.7 或更高版本。

标签

常见问题

Speech 是什么？

英伟达开源的语音AI工具包，用于构建、微调和部署语音识别、语音合成及语音大模型。 NeMo Speech 是英伟达基于 PyTorch 打造的语音模型框架，面向从事语音研究和开发的工程师。它覆盖自动语音识别（ASR）、语音合成（TTS）以及语音大模型，支持通过复用已有代码和预训练模型快速创建、定制和部署模型。

Speech 可以免费使用吗？用的什么许可证？

Speech 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。

Speech 还在维护吗？

活跃维护中。Speech 最近一次提交是在 2026年10月20日。

Speech 适合用来做什么？

为特定语言或领域构建或微调语音识别系统 在英伟达 GPU 上部署低延迟的流式转写服务 为应用生成多语言语音合成音色 研究语音大模型和语音对话智能体

Speech 怎么安装和运行？

克隆代码仓库: git clone https://github.com/NVIDIA-NeMo/Speech.git 进入项目目录: cd Speech 使用 uv 安装受支持的环境（CUDA 13.x）: uv sync --extra all --extra cu13 或通过 pip 安装到现有 PyTorch 环境中: uv pip install 'nemo-toolkit[asr,tts]'

在哪里获取 Speech？

源代码和安装说明在 GitHub 上：https://github.com/NVIDIA-NeMo/Speech