MMMU 与 MMMU-Pro 多学科多模态基准的评测代码,考察模型对大学水平图文问题的理解与推理。
Picovoice/speech-to-text-benchmark
一个极简、可扩展的语音转文字引擎基准测试框架,用于比较识别准确率、延迟、计算成本和模型大小。
- Star
- 699
- Fork
- 73
- 未关闭 Issue
- 0
- 最近提交
- 20小时前
这是什么?
这是一个语音转文字(STT)引擎基准测试框架,可以在相同的音频数据集上比较不同引擎的表现。它既支持 Amazon Transcribe、Azure Speech-to-Text、Google Speech-to-Text 等云服务,也支持 Whisper、Whisper.cpp、Vosk、Moonshine、Nemotron 以及 Picovoice Cheetah、Leopard 等本地模型,测试数据涵盖 LibriSpeech、Common Voice、TED-LIUM、Fleurs 等常用语料。
评测维度包括词错误率(WER)、韩语和日语的字符错误率(CER)、句号和问号的标点错误率(PER)、流式引擎的词输出延迟、每百小时音频所需的 CPU 核时以及模型总大小。结果按英语、法语、德语、意大利语、西班牙语、葡萄牙语、韩语和日语分别列出。
项目是一个 Python 命令行工具,通过参数选择引擎,准确率和延迟测量由不同脚本完成。数据集需要自行下载到本地,云端引擎则需要对应账号的凭证。
核心功能
- 01在相同数据集上比较批处理和流式语音识别引擎
- 02测量词错误率、字符错误率和标点错误率
- 03统计流式引擎的词输出延迟
- 04统计本地引擎的 CPU 核时和模型大小
- 05覆盖英语、法语、德语、意大利语、西班牙语、葡萄牙语、韩语和日语
适用场景
- 对比准确率和延迟,为产品选择语音识别引擎
- 在自己的语言上评估离线模型与云端 API 的差异
- 比较端侧部署的计算成本和模型大小
- 把新的 STT 引擎接入统一的评测流程
快速上手
- 1
安装 FFmpeg
- 2
安装 Python 依赖
pip3 install -r requirements.txt - 3
下载基准测试数据集
- 4
按 README 说明,使用所选引擎、数据集和语言运行 benchmark.py
使用前须知
- 该基准仅在 Ubuntu 22.04 和 Python 3.12 上开发和测试。
- 许多引擎需要云服务账号或 API 密钥,例如 Amazon、Azure、Google、IBM Watson 和 Picovoice。
- 运行基准前需要自行下载较大的语音数据集。
收录于专题
标签
常见问题
- speech-to-text-benchmark 是什么?
- 一个极简、可扩展的语音转文字引擎基准测试框架,用于比较识别准确率、延迟、计算成本和模型大小。 这是一个语音转文字(STT)引擎基准测试框架,可以在相同的音频数据集上比较不同引擎的表现。它既支持 Amazon Transcribe、Azure Speech-to-Text、Google Speech-to-Text 等云服务,也支持 Whisper、Whisper.cpp、Vosk、Moonshine、Nemotron 以及 Picovoice Cheetah、Leopard 等本地模型,测试数据涵盖 LibriSpeech、Common Voice、TED-LIUM、Fleurs 等常用语料。
- speech-to-text-benchmark 可以免费使用吗?用的什么许可证?
- speech-to-text-benchmark 以 Apache-2.0 许可证开源。用于商业产品前,请先确认许可证条款。
- speech-to-text-benchmark 还在维护吗?
- 活跃维护中。speech-to-text-benchmark 最近一次提交是在 2026年11月6日。
- speech-to-text-benchmark 适合用来做什么?
- 对比准确率和延迟,为产品选择语音识别引擎 在自己的语言上评估离线模型与云端 API 的差异 比较端侧部署的计算成本和模型大小 把新的 STT 引擎接入统一的评测流程
- speech-to-text-benchmark 怎么安装和运行?
- 安装 FFmpeg 安装 Python 依赖: pip3 install -r requirements.txt 下载基准测试数据集 按 README 说明,使用所选引擎、数据集和语言运行 benchmark.py
- 在哪里获取 speech-to-text-benchmark?
- 源代码和安装说明在 GitHub 上:https://github.com/Picovoice/speech-to-text-benchmark
概要由 AI 根据项目 README 生成;GitHub 数据每日更新。
相关项目
按住快捷键说话,松开后文字直接输入到光标处,支持桌面端与 Android。
Windows 离线语音输入工具,按住 CapsLock 说话,松开即自动上屏。
Linux 桌面与 Sailfish OS 应用,离线完成语音转文字、文字转语音和机器翻译。
基于 Whisper 的开源语音转文字工具,支持词级时间戳和说话人分离。
开源语音识别工具包,支持离线与流式 ASR,并提供 VAD、标点、说话人区分及 OpenAI 兼容服务。