Repolode
Enviar
Picovoice

Picovoice/speech-to-text-benchmark

Framework minimalista e extensível para comparar mecanismos de conversão de fala em texto por WER, CER, erros de pontuação, latência, uso de CPU e tamanho do modelo.

Ver no GitHubSite
Estrelas
699
Forks
73
Issues abertas
0
Último commit
há 20 horas

O que é?

Este projeto é um framework de benchmarking para comparar mecanismos de conversão de fala em texto usando os mesmos conjuntos de dados de áudio. Ele executa mecanismos em lote e em streaming, incluindo serviços na nuvem como Amazon Transcribe, Azure Speech-to-Text e Google Speech-to-Text, além de modelos locais como Whisper, Whisper.cpp, Vosk, Moonshine, Nemotron e Picovoice Cheetah e Leopard, em corpora comuns como LibriSpeech, Common Voice, TED-LIUM e Fleurs.

Os resultados são apresentados em várias métricas: taxa de erro de palavras, taxa de erro de caracteres para coreano e japonês, taxa de erro de pontuação para pontos finais e pontos de interrogação, latência de emissão de palavras para mecanismos em streaming, horas de núcleo de CPU por cem horas de áudio e tamanho agregado dos modelos. Os resultados são discriminados por idioma e abrangem inglês, francês, alemão, italiano, espanhol, português, coreano e japonês.

A base de código é uma ferramenta de linha de comando em Python. Cada mecanismo é selecionado com uma flag, e scripts separados medem a precisão e a latência. Os conjuntos de dados precisam ser baixados localmente, e os mecanismos na nuvem exigem as credenciais da conta correspondente.

Recursos principais

  • 01Compara mecanismos em lote e em streaming usando os mesmos conjuntos de dados
  • 02Mede WER, CER e taxa de erro de pontuação
  • 03Apresenta a latência de emissão de palavras para mecanismos em streaming
  • 04Mede horas de núcleo de CPU e tamanho dos modelos para mecanismos locais
  • 05Abrange inglês, francês, alemão, italiano, espanhol, português, coreano e japonês

Casos de uso

  • Escolher um mecanismo de reconhecimento de fala para um produto comparando precisão e latência
  • Avaliar modelos offline em relação a APIs na nuvem no seu idioma
  • Comparar o custo computacional e o tamanho dos modelos para implantação no dispositivo
  • Adicionar um novo mecanismo de STT a um pipeline de avaliação consistente

Início rápido

  1. 1

    Instale o FFmpeg

  2. 2

    Instale os requisitos do Python

    pip3 install -r requirements.txt
  3. 3

    Baixe os conjuntos de dados de benchmark

  4. 4

    Execute benchmark.py com o mecanismo, o conjunto de dados e o idioma de sua escolha, conforme descrito no README

Antes de usar

  • O benchmark foi desenvolvido e testado somente no Ubuntu 22.04 com Python 3.12.
  • Muitos mecanismos exigem contas na nuvem ou chaves de API, como Amazon, Azure, Google, IBM Watson e Picovoice.
  • Você precisa baixar por conta própria os grandes conjuntos de dados de fala antes de executar o benchmark.

Em coleções

Ferramentas de privacidade e local-firstFerramentas de vídeo e áudio com IA

Tópicos

#speech-recognition#speech-to-text#benchmark#asr#offline#evaluation#aws-transcribe#cheetah#deep-learning#deep-neural-networks

Perguntas frequentes

O que é speech-to-text-benchmark?
Framework minimalista e extensível para comparar mecanismos de conversão de fala em texto por WER, CER, erros de pontuação, latência, uso de CPU e tamanho do modelo. Este projeto é um framework de benchmarking para comparar mecanismos de conversão de fala em texto usando os mesmos conjuntos de dados de áudio. Ele executa mecanismos em lote e em streaming, incluindo serviços na nuvem como Amazon Transcribe, Azure Speech-to-Text e Google Speech-to-Text, além de modelos locais como Whisper, Whisper.cpp, Vosk, Moonshine, Nemotron e Picovoice Cheetah e Leopard, em corpora comuns como LibriSpeech, Common Voice, TED-LIUM e Fleurs.
speech-to-text-benchmark é gratuito? Qual é a licença?
speech-to-text-benchmark é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
speech-to-text-benchmark ainda é mantido?
Manutenção ativa. O último commit de speech-to-text-benchmark foi em 6 de nov. de 2026.
Para que posso usar speech-to-text-benchmark?
Escolher um mecanismo de reconhecimento de fala para um produto comparando precisão e latência Avaliar modelos offline em relação a APIs na nuvem no seu idioma Comparar o custo computacional e o tamanho dos modelos para implantação no dispositivo Adicionar um novo mecanismo de STT a um pipeline de avaliação consistente
Como instalar speech-to-text-benchmark?
Instale o FFmpeg Instale os requisitos do Python: pip3 install -r requirements.txt Baixe os conjuntos de dados de benchmark Execute benchmark.py com o mecanismo, o conjunto de dados e o idioma de sua escolha, conforme descrito no README
Onde consigo speech-to-text-benchmark?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/Picovoice/speech-to-text-benchmark

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados