Framework para definir modelos de aprendizaje automático de última generación de texto, visión, audio y modalidades múltiples, para inferencia y entrenamiento.
167,9 mil34,9 milPythonApache-2.0Actualizado ayer
espnet/espnet
Toolkit de procesamiento de voz de extremo a extremo basado en PyTorch para reconocimiento, síntesis, traducción, mejora y más.
- Estrellas
- 9,993
- Forks
- 2,445
- Issues abiertos
- 92
- Último commit
- hace 7 horas
¿Qué es?
ESPnet es un toolkit de procesamiento de voz de extremo a extremo basado en PyTorch. Incluye reconocimiento automático del habla (ASR), texto a voz (TTS), traducción de voz, mejora y separación de voz, diarización de hablantes, comprensión del lenguaje hablado, síntesis de voz cantada y modelos de lenguaje del habla. Cada tarea se organiza como una receta con un pipeline independiente del corpus, desde la preparación de datos hasta el entrenamiento y la evaluación.
El proyecto ofrece modelos preentrenados en Hugging Face, incluidos los modelos OWSM para reconocimiento y traducción multilingües. Se puede instalar con pip y usar desde la línea de comandos o desde Python, por ejemplo, para transcribir o traducir un archivo de audio, sintetizar voz a partir de texto o mejorar una grabación con ruido. Un servidor MCP pone las mismas tareas a disposición de agentes de IA.
El entrenamiento admite configuraciones distribuidas como DDP, ejecuciones multinodo con Slurm o MPI y DeepSpeed. Los investigadores e ingenieros que desarrollan sistemas de voz pueden usar la estructura compartida de las recetas para reproducir resultados publicados o adaptar modelos a sus propios datos.
Funciones clave
- 01Reconocimiento, traducción, síntesis, mejora de voz y fonemización mediante CLI y Python.
- 02Modelos preentrenados en Hugging Face, incluidos los modelos multilingües OWSM.
- 03Recetas reproducibles para más de 200 corpus con un pipeline compartido.
- 04Compatible con las arquitecturas Transformer, Conformer, Branchformer y Transducer.
- 05Entrenamiento distribuido con DDP, Slurm/MPI multinodo y DeepSpeed.
- 06Servidor MCP que pone las tareas de voz a disposición de agentes de IA.
Casos de uso
- Transcribir o traducir grabaciones de audio en muchos idiomas.
- Entrenar un modelo personalizado de reconocimiento del habla o TTS con tu propio corpus.
- Reproducir benchmarks publicados de voz mediante recetas estándar.
- Añadir mejora de voz o verificación de hablantes a una aplicación.
Inicio rápido
- 1
Instala primero PyTorch desde el sitio oficial de PyTorch
- 2
Instala ESPnet para ejecutar modelos preentrenados
pip install espnet - 3
Transcribe un archivo de audio desde la terminal
espnet transcribe audio.wav
Antes de usarlo
- Para entrenar, hay que instalar además espnet[train], y las recetas requieren una configuración más completa, como se indica en la guía de instalación.
- ESPnet1 ya no tiene soporte, así que usa ESPnet2 o ESPnet3.
Temas
Preguntas frecuentes
- ¿Qué es espnet?
- Toolkit de procesamiento de voz de extremo a extremo basado en PyTorch para reconocimiento, síntesis, traducción, mejora y más. ESPnet es un toolkit de procesamiento de voz de extremo a extremo basado en PyTorch. Incluye reconocimiento automático del habla (ASR), texto a voz (TTS), traducción de voz, mejora y separación de voz, diarización de hablantes, comprensión del lenguaje hablado, síntesis de voz cantada y modelos de lenguaje del habla. Cada tarea se organiza como una receta con un pipeline independiente del corpus, desde la preparación de datos hasta el entrenamiento y la evaluación.
- ¿espnet es gratuito? ¿Qué licencia tiene?
- espnet es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿espnet sigue mantenido?
- Mantenimiento activo. El último commit de espnet fue el 21 oct 2026.
- ¿Para qué puedo usar espnet?
- Transcribir o traducir grabaciones de audio en muchos idiomas. Entrenar un modelo personalizado de reconocimiento del habla o TTS con tu propio corpus. Reproducir benchmarks publicados de voz mediante recetas estándar. Añadir mejora de voz o verificación de hablantes a una aplicación.
- ¿Cómo se instala espnet?
- Instala primero PyTorch desde el sitio oficial de PyTorch Instala ESPnet para ejecutar modelos preentrenados: pip install espnet Transcribe un archivo de audio desde la terminal: espnet transcribe audio.wav
- ¿Dónde consigo espnet?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/espnet/espnet
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Familia open source de modelos de voz con IA de Microsoft: reconocimiento de voz de larga duración (ASR), text-to-speech (TTS) para varios hablantes y TTS en streaming en tiempo real.
54,9 mil6,2 milPythonMITActualizado hace 13 días
Kit open source de reconocimiento de voz para ASR offline y en streaming, con VAD, puntuación, etiquetas de hablante y servicio compatible con OpenAI.
20,8 mil2,1 milPythonMITActualizado hace 3 días
Toolkit de código abierto de NVIDIA para crear, ajustar y desplegar modelos de IA de voz, incluidos reconocimiento de voz (ASR), texto a voz (TTS) y LLM de voz.
18,6 mil3,7 milPythonApache-2.0Actualizado ayer
Sistema open source de texto a voz basado en flow matching y un Diffusion Transformer, con clonación de voz zero-shot a partir de una breve muestra de audio.
IA y Machine Learning#text-to-speech#speech-synthesis#flow-matching#diffusion-transformer#voice-cloning
15,4 mil2,3 milPythonMITActualizado hace 7 días
SDK de Swift para ejecutar reconocimiento de voz, síntesis de voz y diarización de hablantes íntegramente en el dispositivo, en Apple silicon.
6,4 mil622SwiftMITActualizado hace 11 días