m-bain/whisperX

어떤 프로젝트인가요?

핵심 기능

• 01faster-whisper 백엔드를 사용한 Whisper 배치 추론으로 전사 속도를 높입니다.
• 02wav2vec2 forced alignment로 단어 단위 타임스탬프를 생성합니다.
• 03pyannote-audio를 통해 화자 ID를 표시하는 화자 분리를 지원합니다.
• 04환각을 줄이기 위해 음성 활동 감지로 전처리합니다.
• 05명령줄 및 Python 인터페이스를 제공하며 CPU와 CUDA GPU 실행을 지원합니다.

활용 사례

• 녹음된 비디오나 오디오에서 단어 타이밍이 정확한 자막(SRT)을 생성합니다.
• 여러 화자가 참여한 회의나 인터뷰를 화자 레이블과 함께 전사합니다.
• 정렬된 전사 결과가 필요한 음성 데이터셋이나 연구 파이프라인을 구축합니다.
• 언어별 정렬 모델을 사용해 영어가 아닌 오디오를 전사합니다.

빠른 시작

1. 1

   먼저 CUDA Toolkit 12.8을 설치하세요(CPU만 사용하는 경우 생략)

2. 2

   PyPI에서 WhisperX를 설치하세요

   pip install whisperx
3. 3

   오디오 파일을 전사하세요

   whisperx path/to/audio.wav

사용 전 알아둘 점

• !GPU를 빠르게 사용하려면 CUDA 12.8을 지원하는 NVIDIA GPU가 필요합니다. CPU로 실행하려면 int8 compute type이 필요합니다.
• !화자 분리에는 Hugging Face token이 필요하며 pyannote model 사용자 계약에 동의해야 합니다.
• !정렬 모델 사전에 없는 문자가 포함된 단어(예: 기호가 있는 숫자)는 타이밍이 지정되지 않습니다.
• !다른 언어에는 해당 언어 전용 음소 정렬 모델이 필요합니다.

토픽

자주 묻는 질문

whisperX은(는) 무엇인가요?

Whisper 기반 오픈소스 음성-텍스트 변환 도구로, forced alignment를 통해 단어 단위 타임스탬프를 추가하고 선택적으로 화자 분리를 지원합니다. WhisperX는 OpenAI의 Whisper를 배치 추론 기능으로 확장한 자동 음성 인식용 Python 도구이며, faster-whisper 백엔드를 사용합니다. Whisper만 사용하면 발화 단위 타임스탬프만 제공하고 오차가 몇 초에 달하는 경우가 많지만, WhisperX는 wav2vec2 기반 forced alignment 단계를 추가해 각 단어의 정확한 타이밍을 생성합니다.

whisperX은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

whisperX은(는) BSD-2-Clause 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

whisperX은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. whisperX의 마지막 커밋은 2026년 10월 18일입니다.

whisperX은(는) 어디에 사용할 수 있나요?

녹음된 비디오나 오디오에서 단어 타이밍이 정확한 자막(SRT)을 생성합니다. 여러 화자가 참여한 회의나 인터뷰를 화자 레이블과 함께 전사합니다. 정렬된 전사 결과가 필요한 음성 데이터셋이나 연구 파이프라인을 구축합니다. 언어별 정렬 모델을 사용해 영어가 아닌 오디오를 전사합니다.

whisperX는 어떻게 설치하나요?

먼저 CUDA Toolkit 12.8을 설치하세요(CPU만 사용하는 경우 생략) PyPI에서 WhisperX를 설치하세요: pip install whisperx 오디오 파일을 전사하세요: whisperx path/to/audio.wav

whisperX은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/m-bain/whisperX