Repolode
Picovoice

Picovoice/speech-to-text-benchmark

一个极简、可扩展的语音转文字引擎基准测试框架,用于比较识别准确率、延迟、计算成本和模型大小。

Star
699
Fork
73
未关闭 Issue
0
最近提交
20小时前

这是什么?

这是一个语音转文字(STT)引擎基准测试框架,可以在相同的音频数据集上比较不同引擎的表现。它既支持 Amazon Transcribe、Azure Speech-to-Text、Google Speech-to-Text 等云服务,也支持 Whisper、Whisper.cpp、Vosk、Moonshine、Nemotron 以及 Picovoice Cheetah、Leopard 等本地模型,测试数据涵盖 LibriSpeech、Common Voice、TED-LIUM、Fleurs 等常用语料。

评测维度包括词错误率(WER)、韩语和日语的字符错误率(CER)、句号和问号的标点错误率(PER)、流式引擎的词输出延迟、每百小时音频所需的 CPU 核时以及模型总大小。结果按英语、法语、德语、意大利语、西班牙语、葡萄牙语、韩语和日语分别列出。

项目是一个 Python 命令行工具,通过参数选择引擎,准确率和延迟测量由不同脚本完成。数据集需要自行下载到本地,云端引擎则需要对应账号的凭证。

核心功能

  • 01在相同数据集上比较批处理和流式语音识别引擎
  • 02测量词错误率、字符错误率和标点错误率
  • 03统计流式引擎的词输出延迟
  • 04统计本地引擎的 CPU 核时和模型大小
  • 05覆盖英语、法语、德语、意大利语、西班牙语、葡萄牙语、韩语和日语

适用场景

  • 对比准确率和延迟,为产品选择语音识别引擎
  • 在自己的语言上评估离线模型与云端 API 的差异
  • 比较端侧部署的计算成本和模型大小
  • 把新的 STT 引擎接入统一的评测流程

快速上手

  1. 1

    安装 FFmpeg

  2. 2

    安装 Python 依赖

    pip3 install -r requirements.txt
  3. 3

    下载基准测试数据集

  4. 4

    按 README 说明,使用所选引擎、数据集和语言运行 benchmark.py

使用前须知

  • 该基准仅在 Ubuntu 22.04 和 Python 3.12 上开发和测试。
  • 许多引擎需要云服务账号或 API 密钥,例如 Amazon、Azure、Google、IBM Watson 和 Picovoice。
  • 运行基准前需要自行下载较大的语音数据集。

收录于专题

标签

常见问题

speech-to-text-benchmark 是什么?
一个极简、可扩展的语音转文字引擎基准测试框架,用于比较识别准确率、延迟、计算成本和模型大小。 这是一个语音转文字(STT)引擎基准测试框架,可以在相同的音频数据集上比较不同引擎的表现。它既支持 Amazon Transcribe、Azure Speech-to-Text、Google Speech-to-Text 等云服务,也支持 Whisper、Whisper.cpp、Vosk、Moonshine、Nemotron 以及 Picovoice Cheetah、Leopard 等本地模型,测试数据涵盖 LibriSpeech、Common Voice、TED-LIUM、Fleurs 等常用语料。
speech-to-text-benchmark 可以免费使用吗?用的什么许可证?
speech-to-text-benchmark 以 Apache-2.0 许可证开源。用于商业产品前,请先确认许可证条款。
speech-to-text-benchmark 还在维护吗?
活跃维护中。speech-to-text-benchmark 最近一次提交是在 2026年11月6日。
speech-to-text-benchmark 适合用来做什么?
对比准确率和延迟,为产品选择语音识别引擎 在自己的语言上评估离线模型与云端 API 的差异 比较端侧部署的计算成本和模型大小 把新的 STT 引擎接入统一的评测流程
speech-to-text-benchmark 怎么安装和运行?
安装 FFmpeg 安装 Python 依赖: pip3 install -r requirements.txt 下载基准测试数据集 按 README 说明,使用所选引擎、数据集和语言运行 benchmark.py
在哪里获取 speech-to-text-benchmark?
源代码和安装说明在 GitHub 上:https://github.com/Picovoice/speech-to-text-benchmark

概要由 AI 根据项目 README 生成;GitHub 数据每日更新。

相关项目