Familia open source de modelos de voz con IA de Microsoft: reconocimiento de voz de larga duración (ASR), text-to-speech (TTS) para varios hablantes y TTS en streaming en tiempo real.
PaddlePaddle/PaddleSpeech
Kit de voz de código abierto basado en PaddlePaddle para reconocimiento de voz, síntesis de voz, verificación de hablantes, detección de palabras clave y traducción de voz.
- Estrellas
- 12,704
- Forks
- 1,952
- Issues abiertos
- 277
- Último commit
- hace 3 meses
¿Qué es?
PaddleSpeech es un kit de voz y audio basado en el framework de deep learning PaddlePaddle. Ofrece herramientas de línea de comandos y APIs de Python listas para usar en reconocimiento automático del habla, síntesis de voz, clasificación de audio, verificación de hablantes, diarización de hablantes, detección de palabras clave, restauración de puntuación y traducción de voz del inglés al chino.
El kit incluye modelos preentrenados y recetas de entrenamiento para muchas arquitecturas, como DeepSpeech2, modelos ASR basados en Conformer y Transformer, FastSpeech2, VITS y HiFiGAN para TTS, y ECAPA-TDNN para tareas relacionadas con hablantes. Incluye un frontend de texto en chino con normalización de texto y conversión de grafemas a fonemas, y ofrece servidores ASR y TTS tanto offline como en streaming. Los modelos se pueden exportar a ONNX para TTS.
El proyecto abarca todo el flujo de trabajo, desde la preparación de datos y el entrenamiento hasta la inferencia y el despliegue, e incluye ejemplos de runtime en C++ y demos para Android y ARM Linux.
Funciones clave
- 01Reconocimiento de voz con modelos en streaming y no streaming, además de restauración de puntuación.
- 02Síntesis de voz con un frontend de texto en chino, varios modelos acústicos y vocoders.
- 03Verificación de hablantes, diarización de hablantes y clasificación de audio.
- 04Detección de palabras clave y traducción de voz del inglés al chino.
- 05Herramientas de línea de comandos, API de Python y servidores HTTP y de streaming para el despliegue.
Casos de uso
- Añadir conversión de voz a texto o generación de subtítulos a aplicaciones en chino.
- Crear voces de síntesis de voz para presentadores virtuales, audiolibros o asistentes de voz.
- Ejecutar verificación de hablantes o reconocimiento de huellas de voz en un servicio backend.
- Investigar o ajustar modelos de voz con conjuntos de datos como AISHELL y LibriSpeech.
Antes de usarlo
- Está desarrollado sobre el framework PaddlePaddle, por lo que es necesario instalarlo para poder usarlo.
- El fragmento del README proporcionado no incluye comandos de instalación.
En colecciones
Temas
Preguntas frecuentes
- ¿Qué es PaddleSpeech?
- Kit de voz de código abierto basado en PaddlePaddle para reconocimiento de voz, síntesis de voz, verificación de hablantes, detección de palabras clave y traducción de voz. PaddleSpeech es un kit de voz y audio basado en el framework de deep learning PaddlePaddle. Ofrece herramientas de línea de comandos y APIs de Python listas para usar en reconocimiento automático del habla, síntesis de voz, clasificación de audio, verificación de hablantes, diarización de hablantes, detección de palabras clave, restauración de puntuación y traducción de voz del inglés al chino.
- ¿PaddleSpeech es gratuito? ¿Qué licencia tiene?
- PaddleSpeech es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿PaddleSpeech sigue mantenido?
- Actualizado en los últimos 6 meses. El último commit de PaddleSpeech fue el 12 ago 2026.
- ¿Para qué puedo usar PaddleSpeech?
- Añadir conversión de voz a texto o generación de subtítulos a aplicaciones en chino. Crear voces de síntesis de voz para presentadores virtuales, audiolibros o asistentes de voz. Ejecutar verificación de hablantes o reconocimiento de huellas de voz en un servicio backend. Investigar o ajustar modelos de voz con conjuntos de datos como AISHELL y LibriSpeech.
- ¿Dónde consigo PaddleSpeech?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/PaddlePaddle/PaddleSpeech
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Toolkit de código abierto de NVIDIA para crear, ajustar y desplegar modelos de IA de voz, incluidos reconocimiento de voz (ASR), texto a voz (TTS) y LLM de voz.
Código de ejemplo para llamar a los modelos de voz de Alibaba Cloud Bailian para reconocimiento y síntesis de voz, y chat por voz.
Nodos de ComfyUI para convertir texto a voz con Fish Audio Drama 3, clonar voces y generar diálogos con varios hablantes e indicaciones en línea, además de transcribir con Qwen3-ASR.
Kit de reconocimiento de voz de extremo a extremo en PyTorch, orientado a producción, con herramienta de línea de comandos, API de Python, recetas de entrenamiento y runtimes de despliegue.
Kit open source de reconocimiento de voz para ASR offline y en streaming, con VAD, puntuación, etiquetas de hablante y servicio compatible con OpenAI.