Familia open source de modelos de voz con IA de Microsoft: reconocimiento de voz de larga duración (ASR), text-to-speech (TTS) para varios hablantes y TTS en streaming en tiempo real.
54,9 mil6,2 milPythonMITActualizado hace 12 días
NVIDIA-NeMo/Speech
Toolkit de código abierto de NVIDIA para crear, ajustar y desplegar modelos de IA de voz, incluidos reconocimiento de voz (ASR), texto a voz (TTS) y LLM de voz.
- Estrellas
- 18,607
- Forks
- 3,654
- Issues abiertos
- 368
- Último commit
- hace 7 horas
¿Qué es?
NeMo Speech es un framework basado en PyTorch de NVIDIA para investigadores y desarrolladores que trabajan con modelos de voz. Abarca el reconocimiento automático del habla, texto a voz y LLM de voz, y busca ayudar a crear, personalizar y desplegar modelos reutilizando código existente y checkpoints preentrenados.
El proyecto ofrece modelos preentrenados, como modelos ASR en streaming y sin conexión, modelos TTS multilingües y un modelo de chat de voz full-duplex, publicados en Hugging Face. Se separó del toolkit más amplio NeMo y ahora se centra en audio, voz y LLM multimodales.
La instalación está disponible mediante uv desde el código fuente, con Docker usando un contenedor NGC precompilado o mediante pip sobre un entorno PyTorch existente. Requiere Python 3.12 o posterior, PyTorch 2.7 o posterior y una GPU NVIDIA con CUDA para el entrenamiento.
Funciones clave
- 01Modelos de reconocimiento automático del habla, incluidos los modos en streaming y sin conexión
- 02Modelos de texto a voz con compatibilidad multilingüe
- 03Modelos de LLM de voz y conversación por voz full-duplex
- 04Checkpoints preentrenados publicados en Hugging Face
- 05Instalación mediante uv, Docker o pip junto con una configuración existente de PyTorch
Casos de uso
- Crear o ajustar un sistema de reconocimiento del habla para un idioma o dominio específico
- Desplegar transcripción en streaming de baja latencia en GPU NVIDIA
- Crear voces de texto a voz multilingües para aplicaciones
- Investigar LLM de voz y agentes de voz conversacionales
Inicio rápido
- 1
Clona el repositorio
git clone https://github.com/NVIDIA-NeMo/Speech.git - 2
Entra en el directorio del proyecto
cd Speech - 3
Instala la pila compatible con uv (CUDA 13.x)
uv sync --extra all --extra cu13 - 4
O instálala con pip en tu entorno de PyTorch actual
uv pip install 'nemo-toolkit[asr,tts]'
Antes de usarlo
- El entrenamiento requiere una GPU NVIDIA con CUDA.
- Se requiere Python 3.12 o posterior y PyTorch 2.7 o posterior.
Temas
Preguntas frecuentes
- ¿Qué es Speech?
- Toolkit de código abierto de NVIDIA para crear, ajustar y desplegar modelos de IA de voz, incluidos reconocimiento de voz (ASR), texto a voz (TTS) y LLM de voz. NeMo Speech es un framework basado en PyTorch de NVIDIA para investigadores y desarrolladores que trabajan con modelos de voz. Abarca el reconocimiento automático del habla, texto a voz y LLM de voz, y busca ayudar a crear, personalizar y desplegar modelos reutilizando código existente y checkpoints preentrenados.
- ¿Speech es gratuito? ¿Qué licencia tiene?
- Speech es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿Speech sigue mantenido?
- Mantenimiento activo. El último commit de Speech fue el 20 oct 2026.
- ¿Para qué puedo usar Speech?
- Crear o ajustar un sistema de reconocimiento del habla para un idioma o dominio específico Desplegar transcripción en streaming de baja latencia en GPU NVIDIA Crear voces de texto a voz multilingües para aplicaciones Investigar LLM de voz y agentes de voz conversacionales
- ¿Cómo se instala Speech?
- Clona el repositorio: git clone https://github.com/NVIDIA-NeMo/Speech.git Entra en el directorio del proyecto: cd Speech Instala la pila compatible con uv (CUDA 13.x): uv sync --extra all --extra cu13 O instálala con pip en tu entorno de PyTorch actual: uv pip install 'nemo-toolkit[asr,tts]'
- ¿Dónde consigo Speech?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/NVIDIA-NeMo/Speech
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Aplicación para Linux de escritorio y Sailfish OS para tomar notas, leer y traducir, con reconocimiento de voz, síntesis de voz y traducción automática sin conexión.
1,7 mil76C++MPL-2.0Actualizado hace 8 días
Sistema de texto a voz zero-shot que clona una voz a partir de un único audio de referencia y permite controlar la emoción, la velocidad y la pronunciación.
24,6 mil2,9 milPythonOtherActualizado hace 21 días
Kit open source de reconocimiento de voz para ASR offline y en streaming, con VAD, puntuación, etiquetas de hablante y servicio compatible con OpenAI.
20,8 mil2,1 milPythonMITActualizado anteayer
Kit de herramientas de código abierto para transcripción de voz, reconocimiento de intenciones y síntesis de voz en el dispositivo, pensado para agentes y aplicaciones de voz en tiempo real.
11,3 mil620C++OtherActualizado hace 18 días
Biblioteca de inferencia en Python para Kokoro-82M, un modelo de texto a voz de pesos abiertos con 82 millones de parámetros.
9,5 mil1,1 milJavaScriptApache-2.0Actualizado el año pasado