Repolode
FireRedTeam

FireRedTeam/FireRedVAD

100개 이상의 언어에서 스트리밍·비스트리밍 음성 활동 및 오디오 이벤트를 감지하는 오픈 소스 프로젝트

스타
550
포크
38
열린 이슈
16
마지막 커밋
6개월 전

어떤 프로젝트인가요?

FireRedVAD는 음성 활동 감지(VAD)와 오디오 이벤트 감지(AED)를 위한 Python 툴킷입니다. VAD는 오디오 파일에서 음성이 포함된 구간을 찾고, AED는 구간을 음성, 노래 또는 음악으로 분류합니다. 비스트리밍 VAD, 실시간 입력을 위한 스트리밍 VAD, 비스트리밍 AED를 지원합니다.

프로젝트에 따르면 FLEURS 오디오를 바탕으로 수작업으로 음성 레이블을 지정한 102개 언어 테스트 세트인 FLEURS-VAD-102 벤치마크에서 F1 점수 97.57%를 기록했으며, Silero-VAD, TEN-VAD, FunASR-VAD, WebRTC-VAD와 결과를 비교합니다. 모델은 DFSMN 아키텍처를 기반으로 하며 Hugging Face와 ModelScope를 통해 배포됩니다.

pip 또는 소스 코드로 설치할 수 있습니다. 패키지에는 fireredvad 명령줄 도구와 Python API가 포함되어 있습니다. 입력 오디오는 16kHz, 16비트, 모노 PCM WAV 형식이어야 하며, README에는 변환을 위한 ffmpeg 명령어가 안내되어 있습니다. 멀티플랫폼 배포를 위한 NCNN 런타임도 제공됩니다.

핵심 기능

  • 01비스트리밍 및 스트리밍 음성 활동 감지를 지원합니다.
  • 02음성, 노래, 음악을 대상으로 하는 비스트리밍 오디오 이벤트 감지를 지원합니다.
  • 03100개 이상의 언어에서 음성 감지를 지원합니다.
  • 04명령줄 도구와 Python API를 모두 제공합니다.
  • 05멀티플랫폼 배포를 위한 NCNN 런타임을 포함합니다.

활용 사례

  • 음성 인식 전에 무음 구간을 제거하고 녹음을 분할합니다.
  • 스트리밍 VAD를 사용해 실시간 음성 애플리케이션에서 발화 구간을 감지합니다.
  • 오디오 컬렉션에서 음악과 노래가 포함된 구간에 레이블을 지정합니다.

빠른 시작

  1. 1

    Python 3.10 환경을 만듭니다

    conda create --name fireredvad python=3.10
  2. 2

    PyPI에서 설치합니다

    pip install fireredvad
  3. 3

    Hugging Face에서 모델을 다운로드합니다

    huggingface-cli download FireRedTeam/FireRedVAD --local-dir ./pretrained_models/FireRedVAD
  4. 4

    샘플 파일에서 음성 활동 감지(VAD)를 실행합니다

    fireredvad --task vad --wav_path assets/hello_zh.wav --model_dir pretrained_models/FireRedVAD/VAD

사용 전 알아둘 점

  • 비스트리밍 VAD 결과는 주석이 달린 레이블이 아직 공개되지 않은 저자 자체 FLEURS-VAD-102 테스트 세트에서 벤치마크되었습니다.
  • 사용하기 전에 오디오를 16 kHz, 16비트, 모노 PCM WAV로 변환해야 합니다.
  • 소스에서 실행하려면 플랫폼별 requirements 파일이 필요하며, Nvidia 사용자는 GPU가 필요합니다.

토픽

자주 묻는 질문

FireRedVAD은(는) 무엇인가요?
100개 이상의 언어에서 스트리밍·비스트리밍 음성 활동 및 오디오 이벤트를 감지하는 오픈 소스 프로젝트 FireRedVAD는 음성 활동 감지(VAD)와 오디오 이벤트 감지(AED)를 위한 Python 툴킷입니다. VAD는 오디오 파일에서 음성이 포함된 구간을 찾고, AED는 구간을 음성, 노래 또는 음악으로 분류합니다. 비스트리밍 VAD, 실시간 입력을 위한 스트리밍 VAD, 비스트리밍 AED를 지원합니다.
FireRedVAD은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
FireRedVAD은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
FireRedVAD은(는) 아직 유지보수되고 있나요?
6개월 이내 업데이트. FireRedVAD의 마지막 커밋은 2026년 5월 6일입니다.
FireRedVAD은(는) 어디에 사용할 수 있나요?
음성 인식 전에 무음 구간을 제거하고 녹음을 분할합니다. 스트리밍 VAD를 사용해 실시간 음성 애플리케이션에서 발화 구간을 감지합니다. 오디오 컬렉션에서 음악과 노래가 포함된 구간에 레이블을 지정합니다.
FireRedVAD는 어떻게 설치하나요?
Python 3.10 환경을 만듭니다: conda create --name fireredvad python=3.10 PyPI에서 설치합니다: pip install fireredvad Hugging Face에서 모델을 다운로드합니다: huggingface-cli download FireRedTeam/FireRedVAD --local-dir ./pretrained_models/FireRedVAD 샘플 파일에서 음성 활동 감지(VAD)를 실행합니다: fireredvad --task vad --wav_path assets/hello_zh.wav --model_dir pretrained_models/FireRedVAD/VAD
FireRedVAD은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/FireRedTeam/FireRedVAD

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트