Repolode
Предложить
FireRedTeam

FireRedTeam/FireRedVAD

Open-source VAD и AED для речи, пения и музыки на более чем 100 языках, с потоковым и непотоковым режимами.

Открыть на GitHub
Звёзды
549
Форки
38
Открытые issues
16
Последний коммит
6 месяцев назад

Что это?

FireRedVAD определяет, где в аудиозаписи звучит речь, а также отдельно классифицирует аудиособытия: речь, пение и музыку. Проект поддерживает непотоковый VAD, потоковый VAD для обработки аудио в реальном времени и непотоковый AED; обнаружение работает более чем для 100 языков.

В проект входят pip-пакет, CLI-утилита `fireredvad` и Python API (`FireRedVad`, `FireRedStreamVad`, `FireRedAed`). На вход нужно подавать монофонические WAV-файлы с PCM-аудио в формате 16 кГц, 16 бит; для конвертации рекомендуется ffmpeg. Модели можно скачать с Hugging Face или ModelScope, а для кроссплатформенного развёртывания доступен runtime NCNN.

Модели построены на архитектурах DFSMN. На бенчмарке FLEURS-VAD-102, созданном авторами проекта, непотоковый VAD показывает F1 97,57%; в качестве сравнения приведены результаты Silero-VAD, TEN-VAD, FunASR-VAD и WebRTC-VAD.

Ключевые возможности

  • 01Непотоковое и потоковое обнаружение речевой активности.
  • 02Непотоковое обнаружение аудиособытий: речи, пения и музыки.
  • 03CLI-утилита и Python API для пакетной обработки и программного использования.
  • 04Поддержка более 100 языков согласно оценочному набору данных проекта.
  • 05Runtime NCNN для кроссплатформенного развёртывания.

Сценарии использования

  • Удаление тишины и сегментация речи перед передачей аудио в систему ASR.
  • Обнаружение голоса в реальном времени в потоковых аудиопайплайнах.
  • Разметка участков с речью, пением и музыкой в медиафайлах.
  • Предварительная обработка многоязычных записей для речевых датасетов.

Темы

#voice-activity-detection#audio-event-detection#speech#audio#python#streaming#asr-preprocessing#aed#audio-event-classification#sound-event-detection

Частые вопросы

Что такое FireRedVAD?
Open-source VAD и AED для речи, пения и музыки на более чем 100 языках, с потоковым и непотоковым режимами. FireRedVAD определяет, где в аудиозаписи звучит речь, а также отдельно классифицирует аудиособытия: речь, пение и музыку. Проект поддерживает непотоковый VAD, потоковый VAD для обработки аудио в реальном времени и непотоковый AED; обнаружение работает более чем для 100 языков.
FireRedVAD можно использовать бесплатно? Какая у него лицензия?
FireRedVAD распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
FireRedVAD всё ещё поддерживается?
Обновлялся за последние 6 месяцев. Последний коммит в FireRedVAD — 6 мая 2026 г..
Для чего можно использовать FireRedVAD?
Удаление тишины и сегментация речи перед передачей аудио в систему ASR. Обнаружение голоса в реальном времени в потоковых аудиопайплайнах. Разметка участков с речью, пением и музыкой в медиафайлах. Предварительная обработка многоязычных записей для речевых датасетов.
Где скачать FireRedVAD?
Исходный код и инструкции по установке — на GitHub: https://github.com/FireRedTeam/FireRedVAD

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты