Минималистичный расширяемый фреймворк для сравнения движков распознавания речи по WER, CER, ошибкам пунктуации, задержке, нагрузке на CPU и размеру модели.
Фреймворк для сравнения движков распознавания речи на одних и тех же аудиодатасетах. Он запускает пакетные и потоковые движки, включая облачные сервисы Amazon Transcribe, Azure Speech-to-Text и Google Speech-to-Text, а также локальные модели Whisper, Whisper.cpp, Vosk, Moonshine, Nemotron, Picovoice Cheetah и Leopard на общих корпусах, таких как LibriSpeech, Common Voice, TED-LIUM и Fleurs.
Результаты оцениваются по нескольким показателям: частота ошибок слов, частота ошибок символов для корейского и японского языков, частота ошибок пунктуации для точек и вопросительных знаков, задержка вывода слов для потоковых движков, число процессор-часов на каждые сто часов аудио и совокупный размер моделей. Результаты приводятся отдельно по языкам: английскому, французскому, немецкому, итальянскому, испанскому, португальскому, корейскому и японскому.
Это инструмент командной строки на Python. Каждый движок выбирается флагом, а для измерения точности и задержки предусмотрены отдельные скрипты. Датасеты нужно скачать локально, а для облачных движков необходимы соответствующие учётные данные аккаунта.
Установите FFmpeg
Установите зависимости Python
pip3 install -r requirements.txtСкачайте наборы данных для бенчмарка
Запустите benchmark.py, указав выбранные движок, набор данных и язык, как описано в README
Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.
Код оценки и ссылки на данные бенчмарков MMMU и MMMU-Pro, проверяющих мультимодальные модели на междисциплинарных вопросах университетского уровня.
Голосовой ввод по push-to-talk для компьютеров и Android: зажмите горячую клавишу, говорите — и текст вставится в место, где находится курсор.
Офлайн-инструмент для голосового ввода в Windows: удерживайте CapsLock или боковую кнопку мыши X2, чтобы говорить, и отпустите, чтобы вставить распознанный текст.
Приложение для Linux и Sailfish OS: заметки, чтение и перевод с офлайн-распознаванием и синтезом речи, а также машинным переводом.
Распознавание речи с открытым исходным кодом на базе Whisper: точные временные метки для каждого слова и опциональная диаризация говорящих.
Открытый набор инструментов для офлайн-распознавания речи и ASR в потоковом режиме, с VAD, расстановкой знаков препинания, метками говорящих и совместимым с OpenAI сервером.