Família open source de modelos de voz com IA da Microsoft, com reconhecimento de fala de longa duração (ASR), text-to-speech com vários falantes (TTS) e modelos de TTS em streaming em tempo real.
54,9 mil6,2 milPythonMITAtualizado há 13 dias
NVIDIA-NeMo/Speech
Kit open source da NVIDIA para criar, ajustar e implantar modelos de IA de fala, incluindo reconhecimento de fala (ASR), síntese de fala (TTS) e LLMs de fala.
- Estrelas
- 18,607
- Forks
- 3,654
- Issues abertas
- 368
- Último commit
- ontem
O que é?
NeMo Speech é um framework baseado em PyTorch, da NVIDIA, voltado a pesquisadores e desenvolvedores que trabalham com modelos de fala. Ele abrange reconhecimento automático de fala, síntese de fala e LLMs de fala, e foi criado para ajudar a desenvolver, personalizar e implantar modelos reutilizando código existente e checkpoints pré-treinados.
O projeto oferece modelos pré-treinados, como modelos de ASR em streaming e offline, modelos de TTS multilíngues e um modelo de conversa por voz full-duplex, publicados no Hugging Face. Ele foi separado do toolkit NeMo mais abrangente e agora se concentra em áudio, fala e LLMs multimodais.
A instalação pode ser feita com uv a partir do código-fonte, com Docker usando um container NGC pré-compilado ou com pip em um ambiente PyTorch existente. São necessários Python 3.12 ou superior, PyTorch 2.7 ou superior e uma GPU NVIDIA com CUDA para treinamento.
Recursos principais
- 01Modelos de reconhecimento automático de fala, incluindo modos streaming e offline
- 02Modelos de síntese de fala com suporte a vários idiomas
- 03Modelos de LLMs de fala e conversação por voz full-duplex
- 04Checkpoints pré-treinados publicados no Hugging Face
- 05Instalação via uv, Docker ou pip junto a uma configuração PyTorch existente
Casos de uso
- Criar ou ajustar um sistema de reconhecimento de fala para um idioma ou domínio específico
- Implantar transcrição em streaming com baixa latência em GPUs NVIDIA
- Criar vozes multilíngues de síntese de fala para aplicações
- Pesquisar LLMs de fala e agentes de voz conversacionais
Início rápido
- 1
Clone o repositório
git clone https://github.com/NVIDIA-NeMo/Speech.git - 2
Acesse o diretório do projeto
cd Speech - 3
Instale a stack compatível com uv (CUDA 13.x)
uv sync --extra all --extra cu13 - 4
Ou instale com pip no seu ambiente PyTorch existente
uv pip install 'nemo-toolkit[asr,tts]'
Antes de usar
- O treinamento requer uma GPU NVIDIA com CUDA.
- É necessário ter Python 3.12 ou superior e PyTorch 2.7 ou superior.
Tópicos
Perguntas frequentes
- O que é Speech?
- Kit open source da NVIDIA para criar, ajustar e implantar modelos de IA de fala, incluindo reconhecimento de fala (ASR), síntese de fala (TTS) e LLMs de fala. NeMo Speech é um framework baseado em PyTorch, da NVIDIA, voltado a pesquisadores e desenvolvedores que trabalham com modelos de fala. Ele abrange reconhecimento automático de fala, síntese de fala e LLMs de fala, e foi criado para ajudar a desenvolver, personalizar e implantar modelos reutilizando código existente e checkpoints pré-treinados.
- Speech é gratuito? Qual é a licença?
- Speech é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
- Speech ainda é mantido?
- Manutenção ativa. O último commit de Speech foi em 20 de out. de 2026.
- Para que posso usar Speech?
- Criar ou ajustar um sistema de reconhecimento de fala para um idioma ou domínio específico Implantar transcrição em streaming com baixa latência em GPUs NVIDIA Criar vozes multilíngues de síntese de fala para aplicações Pesquisar LLMs de fala e agentes de voz conversacionais
- Como instalar Speech?
- Clone o repositório: git clone https://github.com/NVIDIA-NeMo/Speech.git Acesse o diretório do projeto: cd Speech Instale a stack compatível com uv (CUDA 13.x): uv sync --extra all --extra cu13 Ou instale com pip no seu ambiente PyTorch existente: uv pip install 'nemo-toolkit[asr,tts]'
- Onde consigo Speech?
- O código-fonte e as instruções de instalação estão no GitHub: https://github.com/NVIDIA-NeMo/Speech
Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Projetos relacionados
Aplicativo para Linux e Sailfish OS para anotar, ler e traduzir com reconhecimento de fala, síntese de voz e tradução automática offline.
1,7 mil76C++MPL-2.0Atualizado há 9 dias
O VoxCPM2 é um modelo open source de texto para fala, sem tokenizer, que oferece suporte a 30 idiomas, criação de vozes a partir de descrições textuais e clonagem de voz com clipes de referência curtos.
39,6 mil4,5 milPythonApache-2.0Atualizado há 13 dias
Sistema de síntese de fala zero-shot que clona uma voz a partir de um único áudio de referência, com controle de emoção, velocidade e pronúncia.
24,6 mil2,9 milPythonOtherAtualizado há 22 dias
Toolkit open source de reconhecimento de fala para ASR offline e em streaming, com VAD, pontuação, identificação de falantes e serviço compatível com OpenAI.
20,8 mil2,1 milPythonMITAtualizado há 3 dias
Kit de ferramentas open source e local para transcrição de fala, reconhecimento de intenções e síntese de voz, voltado a agentes de voz e apps em tempo real.
11,3 mil620C++OtherAtualizado há 19 dias