오프라인 및 스트리밍 ASR을 위한 오픈소스 음성 인식 툴킷으로, VAD, 문장 부호 복원, 화자 라벨링과 OpenAI 호환 서빙을 지원합니다.
FireRedTeam/FireRedVAD
100개 이상의 언어에서 스트리밍·비스트리밍 음성 활동 및 오디오 이벤트를 감지하는 오픈 소스 프로젝트
- 스타
- 550
- 포크
- 38
- 열린 이슈
- 16
- 마지막 커밋
- 6개월 전
어떤 프로젝트인가요?
FireRedVAD는 음성 활동 감지(VAD)와 오디오 이벤트 감지(AED)를 위한 Python 툴킷입니다. VAD는 오디오 파일에서 음성이 포함된 구간을 찾고, AED는 구간을 음성, 노래 또는 음악으로 분류합니다. 비스트리밍 VAD, 실시간 입력을 위한 스트리밍 VAD, 비스트리밍 AED를 지원합니다.
프로젝트에 따르면 FLEURS 오디오를 바탕으로 수작업으로 음성 레이블을 지정한 102개 언어 테스트 세트인 FLEURS-VAD-102 벤치마크에서 F1 점수 97.57%를 기록했으며, Silero-VAD, TEN-VAD, FunASR-VAD, WebRTC-VAD와 결과를 비교합니다. 모델은 DFSMN 아키텍처를 기반으로 하며 Hugging Face와 ModelScope를 통해 배포됩니다.
pip 또는 소스 코드로 설치할 수 있습니다. 패키지에는 fireredvad 명령줄 도구와 Python API가 포함되어 있습니다. 입력 오디오는 16kHz, 16비트, 모노 PCM WAV 형식이어야 하며, README에는 변환을 위한 ffmpeg 명령어가 안내되어 있습니다. 멀티플랫폼 배포를 위한 NCNN 런타임도 제공됩니다.
핵심 기능
- 01비스트리밍 및 스트리밍 음성 활동 감지를 지원합니다.
- 02음성, 노래, 음악을 대상으로 하는 비스트리밍 오디오 이벤트 감지를 지원합니다.
- 03100개 이상의 언어에서 음성 감지를 지원합니다.
- 04명령줄 도구와 Python API를 모두 제공합니다.
- 05멀티플랫폼 배포를 위한 NCNN 런타임을 포함합니다.
활용 사례
- 음성 인식 전에 무음 구간을 제거하고 녹음을 분할합니다.
- 스트리밍 VAD를 사용해 실시간 음성 애플리케이션에서 발화 구간을 감지합니다.
- 오디오 컬렉션에서 음악과 노래가 포함된 구간에 레이블을 지정합니다.
빠른 시작
- 1
Python 3.10 환경을 만듭니다
conda create --name fireredvad python=3.10 - 2
PyPI에서 설치합니다
pip install fireredvad - 3
Hugging Face에서 모델을 다운로드합니다
huggingface-cli download FireRedTeam/FireRedVAD --local-dir ./pretrained_models/FireRedVAD - 4
샘플 파일에서 음성 활동 감지(VAD)를 실행합니다
fireredvad --task vad --wav_path assets/hello_zh.wav --model_dir pretrained_models/FireRedVAD/VAD
사용 전 알아둘 점
- 비스트리밍 VAD 결과는 주석이 달린 레이블이 아직 공개되지 않은 저자 자체 FLEURS-VAD-102 테스트 세트에서 벤치마크되었습니다.
- 사용하기 전에 오디오를 16 kHz, 16비트, 모노 PCM WAV로 변환해야 합니다.
- 소스에서 실행하려면 플랫폼별 requirements 파일이 필요하며, Nvidia 사용자는 GPU가 필요합니다.
토픽
자주 묻는 질문
- FireRedVAD은(는) 무엇인가요?
- 100개 이상의 언어에서 스트리밍·비스트리밍 음성 활동 및 오디오 이벤트를 감지하는 오픈 소스 프로젝트 FireRedVAD는 음성 활동 감지(VAD)와 오디오 이벤트 감지(AED)를 위한 Python 툴킷입니다. VAD는 오디오 파일에서 음성이 포함된 구간을 찾고, AED는 구간을 음성, 노래 또는 음악으로 분류합니다. 비스트리밍 VAD, 실시간 입력을 위한 스트리밍 VAD, 비스트리밍 AED를 지원합니다.
- FireRedVAD은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
- FireRedVAD은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
- FireRedVAD은(는) 아직 유지보수되고 있나요?
- 6개월 이내 업데이트. FireRedVAD의 마지막 커밋은 2026년 5월 6일입니다.
- FireRedVAD은(는) 어디에 사용할 수 있나요?
- 음성 인식 전에 무음 구간을 제거하고 녹음을 분할합니다. 스트리밍 VAD를 사용해 실시간 음성 애플리케이션에서 발화 구간을 감지합니다. 오디오 컬렉션에서 음악과 노래가 포함된 구간에 레이블을 지정합니다.
- FireRedVAD는 어떻게 설치하나요?
- Python 3.10 환경을 만듭니다: conda create --name fireredvad python=3.10 PyPI에서 설치합니다: pip install fireredvad Hugging Face에서 모델을 다운로드합니다: huggingface-cli download FireRedTeam/FireRedVAD --local-dir ./pretrained_models/FireRedVAD 샘플 파일에서 음성 활동 감지(VAD)를 실행합니다: fireredvad --task vad --wav_path assets/hello_zh.wav --model_dir pretrained_models/FireRedVAD/VAD
- FireRedVAD은(는) 어디서 받을 수 있나요?
- 소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/FireRedTeam/FireRedVAD
요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.
관련 프로젝트
Resemble AI의 오픈 소스 TTS 모델 제품군으로, 짧은 참조 음성 클립을 바탕으로 영어를 비롯한 여러 언어에서 음성 복제를 지원합니다.
5초 분량의 오디오로 목소리를 복제하고 CPU에서 실시간으로 실행되는 KittenTTS 2 모델을 사용하는 오픈 소스 TTS 라이브러리입니다.
텍스트 프롬프트로 완곡을 로컬에서 생성하고 편집, 커버 제작, LoRA 학습을 지원하는 오픈소스 음악 생성 모델입니다.
8,200만 개 파라미터를 갖춘 오픈 웨이트 음성 합성 모델 Kokoro-82M의 Python 추론 라이브러리입니다.
소리를 이용해 기기 간에 소량의 데이터를 주고받는 소형 C++ 라이브러리로, Python, JavaScript, 마이크로컨트롤러에서 사용할 수 있습니다.