Repolode
投稿する
FireRedTeam

FireRedTeam/FireRedVAD

100以上の言語に対応し、ストリーミング／非ストリーミングで音声区間検出と音響イベント検出を行うオープンソースプロジェクト。

GitHub で見る
スター
549
フォーク
38
未解決の Issue
16
最終コミット
6 か月前

これは何？

FireRedVADは音声内で発話がある区間を検出し、それとは別に、発話・歌唱・音楽などの音響イベントを分類します。非ストリーミングVAD、リアルタイム入力向けのストリーミングVAD、非ストリーミングAEDに対応し、100を超える言語を対象に検出できます。

pipパッケージとして提供され、`fireredvad`コマンドラインツールとPython API（`FireRedVad`、`FireRedStreamVad`、`FireRedAed`）を利用できます。入力は16kHz、16ビット、モノラルのPCM WAV形式である必要があり、変換にはffmpegが推奨されています。モデルはHugging FaceまたはModelScopeからダウンロードでき、マルチプラットフォームへのデプロイ向けにNCNNランタイムも利用できます。

モデルはDFSMNアーキテクチャをベースに構築されています。プロジェクトが作成したFLEURS-VAD-102ベンチマークでは、非ストリーミングVADのF1スコアは97.57%で、Silero-VAD、TEN-VAD、FunASR-VAD、WebRTC-VADのスコアも比較対象として掲載されています。

主な機能

  • 01非ストリーミングとストリーミングの音声区間検出に対応。
  • 02発話・歌唱・音楽を対象とした非ストリーミングの音響イベント検出。
  • 03バッチ処理やプログラムからの利用に対応するコマンドラインツールとPython API。
  • 04評価セットに基づき、100以上の言語に対応。
  • 05マルチプラットフォームへのデプロイに利用できるNCNNランタイム。

ユースケース

  • ASRシステムに音声を渡す前に、無音部分を削除して発話を区間分割する。
  • ストリーミング音声パイプラインでリアルタイムに音声を検出する。
  • メディアファイル内の発話・歌唱・音楽の区間を分類する。
  • 音声データセット向けに、多言語の録音音声を前処理する。

トピック

#voice-activity-detection#audio-event-detection#speech#audio#python#streaming#asr-preprocessing#aed#audio-event-classification#sound-event-detection

よくある質問

FireRedVAD とは？
100以上の言語に対応し、ストリーミング／非ストリーミングで音声区間検出と音響イベント検出を行うオープンソースプロジェクト。 FireRedVADは音声内で発話がある区間を検出し、それとは別に、発話・歌唱・音楽などの音響イベントを分類します。非ストリーミングVAD、リアルタイム入力向けのストリーミングVAD、非ストリーミングAEDに対応し、100を超える言語を対象に検出できます。
FireRedVAD は無料で使えますか？ライセンスは？
FireRedVAD は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
FireRedVAD は今もメンテナンスされていますか？
半年以内に更新あり。FireRedVAD の最終コミットは 2026年5月6日 です。
FireRedVAD は何に使えますか？
ASRシステムに音声を渡す前に、無音部分を削除して発話を区間分割する。 ストリーミング音声パイプラインでリアルタイムに音声を検出する。 メディアファイル内の発話・歌唱・音楽の区間を分類する。 音声データセット向けに、多言語の録音音声を前処理する。
FireRedVAD はどこで入手できますか？
ソースコードとインストール手順は GitHub にあります：https://github.com/FireRedTeam/FireRedVAD

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト