Picovoice/speech-to-text-benchmark

これは何？

主な機能

• 01同じデータセットでバッチ処理とストリーミングのエンジンを比較
• 02WER、CER、句読点誤り率を測定
• 03ストリーミングエンジンの単語出力レイテンシを報告
• 04ローカルエンジンのCPUコア時間とモデルサイズを測定
• 05英語、フランス語、ドイツ語、イタリア語、スペイン語、ポルトガル語、韓国語、日本語に対応

ユースケース

• 精度とレイテンシを比較して、製品に採用する音声認識エンジンを選定する
• 利用する言語で、オフラインモデルとクラウドAPIを評価する
• オンデバイス展開に向けて、計算コストとモデルサイズを比較する
• 一貫した評価パイプラインに新しいSTTエンジンを追加する

クイックスタート

1. 1

   FFmpegをインストールする

2. 2

   Pythonの依存パッケージをインストールする

   pip3 install -r requirements.txt
3. 3

   ベンチマーク用データセットをダウンロードする

4. 4

   READMEの説明に従って、選択したエンジン、データセット、言語を指定してbenchmark.pyを実行する

使う前に知っておきたいこと

• !このベンチマークはUbuntu 22.04とPython 3.12のみで開発・テストされています。
• !Amazon、Azure、Google、IBM Watson、Picovoiceなど、多くのエンジンではクラウドアカウントやAPIキーが必要です。
• !ベンチマークを実行する前に、大容量の音声データセットを自分でダウンロードする必要があります。

収録されている特集

トピック

よくある質問

speech-to-text-benchmark とは？

音声認識エンジンのWER、CER、句読点エラー、レイテンシ、CPUコスト、モデルサイズを測定する、シンプルで拡張可能なベンチマークフレームワーク。 同じ音声データセットを使って音声認識エンジンを比較するベンチマークフレームワークです。Amazon Transcribe、Azure Speech-to-Text、Google Speech-to-Textなどのクラウドサービスや、Whisper、Whisper.cpp、Vosk、Moonshine、Nemotron、Picovoice Cheetah、Leopardなどのローカルモデルを、バッチ処理とストリーミングの両方で実行し、LibriSpeech、Common Voice、TED-LIUM、Fleursなどの共通コーパスで評価します。

speech-to-text-benchmark は無料で使えますか？ライセンスは？

speech-to-text-benchmark は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

speech-to-text-benchmark は今もメンテナンスされていますか？

活発にメンテナンス中。speech-to-text-benchmark の最終コミットは 2026年11月6日 です。

speech-to-text-benchmark は何に使えますか？

精度とレイテンシを比較して、製品に採用する音声認識エンジンを選定する 利用する言語で、オフラインモデルとクラウドAPIを評価する オンデバイス展開に向けて、計算コストとモデルサイズを比較する 一貫した評価パイプラインに新しいSTTエンジンを追加する

speech-to-text-benchmark のインストール方法は？

FFmpegをインストールする Pythonの依存パッケージをインストールする: pip3 install -r requirements.txt ベンチマーク用データセットをダウンロードする READMEの説明に従って、選択したエンジン、データセット、言語を指定してbenchmark.pyを実行する

speech-to-text-benchmark はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/Picovoice/speech-to-text-benchmark