Framework minimalista y extensible para evaluar motores de conversión de voz a texto según WER, CER, errores de puntuación, latencia, consumo de CPU y tamaño del modelo.
Este proyecto es un framework de evaluación comparativa para comparar motores de conversión de voz a texto con los mismos conjuntos de datos de audio. Ejecuta motores por lotes y en streaming, incluidos servicios en la nube como Amazon Transcribe, Azure Speech-to-Text y Google Speech-to-Text, y modelos locales como Whisper, Whisper.cpp, Vosk, Moonshine, Nemotron y Picovoice Cheetah y Leopard, con corpus comunes como LibriSpeech, Common Voice, TED-LIUM y Fleurs.
Los resultados se presentan en varios aspectos: tasa de error por palabra, tasa de error por carácter para coreano y japonés, tasa de error de puntuación para puntos y signos de interrogación, latencia de emisión de palabras en motores en streaming, horas-núcleo de CPU por cada cien horas de audio y tamaño total de los modelos. Los resultados se desglosan por idioma: inglés, francés, alemán, italiano, español, portugués, coreano y japonés.
El código es una herramienta de línea de comandos en Python. Cada motor se selecciona con una opción, y hay scripts independientes para medir la precisión y la latencia. Los conjuntos de datos deben descargarse localmente y los motores en la nube requieren las credenciales de la cuenta correspondiente.
Instala FFmpeg
Instala los requisitos de Python
pip3 install -r requirements.txtDescarga los conjuntos de datos de referencia
Ejecuta benchmark.py con el motor, el conjunto de datos y el idioma que elijas, tal como se describe en el README
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Código de evaluación y referencias a los datos de los benchmarks MMMU y MMMU-Pro, que evalúan modelos multimodales con preguntas universitarias de distintas disciplinas.
Dictado por voz con pulsar para hablar en escritorio y Android: mantén presionada una tecla de acceso rápido, habla y el texto se pega donde esté el cursor.
Herramienta de dictado por voz sin conexión para Windows: mantén pulsado CapsLock o el botón lateral X2 del ratón para hablar y suéltalo para escribir el texto reconocido.
Aplicación para Linux de escritorio y Sailfish OS para tomar notas, leer y traducir, con reconocimiento de voz, síntesis de voz y traducción automática sin conexión.
Herramienta de código abierto de voz a texto basada en Whisper, con marcas de tiempo por palabra mediante alineación forzada y diarización de hablantes opcional.
Kit open source de reconocimiento de voz para ASR offline y en streaming, con VAD, puntuación, etiquetas de hablante y servicio compatible con OpenAI.