Repolode
Enviar
FireRedTeam

FireRedTeam/FireRedVAD

Detecção open source de atividade de voz (VAD) e de eventos de áudio (AED) para fala, canto e música em mais de 100 idiomas, com modos de streaming e sem streaming.

Ver no GitHub
Estrelas
549
Forks
38
Issues abertas
16
Último commit
há 6 meses

O que é?

O FireRedVAD detecta em que trechos do áudio há fala e, separadamente, classifica eventos de áudio como fala, canto e música. Oferece VAD sem streaming, VAD em streaming para entrada em tempo real e AED sem streaming, com detecção em mais de 100 idiomas.

O projeto disponibiliza um pacote pip com uma ferramenta de linha de comando `fireredvad` e uma API Python (`FireRedVad`, `FireRedStreamVad`, `FireRedAed`). A entrada precisa estar no formato WAV PCM mono, 16 bits e 16 kHz; o uso de ffmpeg para conversão é recomendado. Os modelos podem ser baixados do Hugging Face ou do ModelScope, e há um runtime NCNN para implantação multiplataforma.

Os modelos são baseados em arquiteturas DFSMN. No benchmark FLEURS-VAD-102, criado pelo projeto, o VAD sem streaming registra F1 de 97,57%, em comparação com os valores informados para Silero-VAD, TEN-VAD, FunASR-VAD e WebRTC-VAD.

Recursos principais

  • 01Detecção de atividade de voz com e sem streaming.
  • 02Detecção de eventos de áudio sem streaming para fala, canto e música.
  • 03Ferramenta de linha de comando e API Python para uso em lote e programático.
  • 04Oferece suporte a mais de 100 idiomas, de acordo com o conjunto de avaliação.
  • 05Runtime NCNN disponível para implantação multiplataforma.

Casos de uso

  • Remover silêncios e segmentar a fala antes de enviar o áudio para um sistema de ASR.
  • Detectar voz em tempo real em pipelines de áudio em streaming.
  • Classificar trechos de fala, canto e música em arquivos de mídia.
  • Pré-processar gravações multilíngues para conjuntos de dados de fala.

Tópicos

#voice-activity-detection#audio-event-detection#speech#audio#python#streaming#asr-preprocessing#aed#audio-event-classification#sound-event-detection

Perguntas frequentes

O que é FireRedVAD?
Detecção open source de atividade de voz (VAD) e de eventos de áudio (AED) para fala, canto e música em mais de 100 idiomas, com modos de streaming e sem streaming. O FireRedVAD detecta em que trechos do áudio há fala e, separadamente, classifica eventos de áudio como fala, canto e música. Oferece VAD sem streaming, VAD em streaming para entrada em tempo real e AED sem streaming, com detecção em mais de 100 idiomas.
FireRedVAD é gratuito? Qual é a licença?
FireRedVAD é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
FireRedVAD ainda é mantido?
Atualizado nos últimos 6 meses. O último commit de FireRedVAD foi em 6 de mai. de 2026.
Para que posso usar FireRedVAD?
Remover silêncios e segmentar a fala antes de enviar o áudio para um sistema de ASR. Detectar voz em tempo real em pipelines de áudio em streaming. Classificar trechos de fala, canto e música em arquivos de mídia. Pré-processar gravações multilíngues para conjuntos de dados de fala.
Onde consigo FireRedVAD?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/FireRedTeam/FireRedVAD

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados