microsoft/VibeVoice

어떤 프로젝트인가요?

핵심 기능

• 01화자 라벨과 타임스탬프를 포함해 최대 60분 길이의 오디오를 한 번에 전사합니다.
• 02도메인별 용어 인식률을 높일 수 있도록 사용자 지정 핫워드를 지원합니다.
• 03오디오 청크마다 텍스트를 출력하는 스트리밍 음성 인식을 지원합니다.
• 04최대 4명의 화자가 참여하는 최대 90분 길이의 대화형 음성을 생성합니다.
• 05스트리밍 텍스트 입력을 받는 0.5B 실시간 TTS 모델을 제공합니다.
• 06ASR 파인튜닝 코드와 vLLM 추론을 지원합니다.

활용 사례

• 화자 구분이 필요한 긴 회의, 인터뷰 또는 팟캐스트를 전사합니다.
• 스크립트에서 여러 화자가 등장하는 팟캐스트 스타일의 오디오를 생성합니다.
• 텍스트를 음성으로 스트리밍하는 저지연 음성 비서를 구축합니다.
• 사용자 지정 데이터로 파인튜닝하는 음성 인식 실험을 진행합니다.

빠른 시작

1. 1

   실시간 스트리밍 TTS 모델의 Colab 노트북 열기

2. 2

   온라인 Playground에서 ASR 모델 사용해 보기

사용 전 알아둘 점

• !README에는 모델이 연구 및 개발 목적으로만 제공되며, 추가 테스트 없이 상업적으로 사용하는 것은 권장되지 않는다고 나와 있습니다.
• !오용 사례가 발견된 후 VibeVoice-TTS 코드가 이 저장소에서 삭제되었습니다.
• !README는 출력에 부정확하거나 편향된 내용이 포함될 수 있으며, 모델이 딥페이크 제작에 악용될 수 있다고 경고합니다.

토픽

자주 묻는 질문

VibeVoice은(는) 무엇인가요?

Microsoft의 오픈소스 음성 AI 모델 제품군으로, 장문 음성 인식(ASR), 다중 화자 텍스트 음성 변환(TTS), 실시간 스트리밍 TTS 모델을 제공합니다. VibeVoice는 Microsoft의 오픈소스 음성 AI 모델 제품군으로, 음성-텍스트 변환과 텍스트-음성 변환을 모두 지원합니다. ASR 모델인 VibeVoice-ASR은 최대 60분 길이의 오디오를 한 번에 전사하며, 화자와 발화 시점, 발화 내용을 출력합니다. 사용자 지정 핫워드와 스트리밍 인식도 지원합니다.

VibeVoice은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

VibeVoice은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

VibeVoice은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. VibeVoice의 마지막 커밋은 2026년 10월 8일입니다.

VibeVoice은(는) 어디에 사용할 수 있나요?

화자 구분이 필요한 긴 회의, 인터뷰 또는 팟캐스트를 전사합니다. 스크립트에서 여러 화자가 등장하는 팟캐스트 스타일의 오디오를 생성합니다. 텍스트를 음성으로 스트리밍하는 저지연 음성 비서를 구축합니다. 사용자 지정 데이터로 파인튜닝하는 음성 인식 실험을 진행합니다.

VibeVoice는 어떻게 설치하나요?

실시간 스트리밍 TTS 모델의 Colab 노트북 열기 온라인 Playground에서 ASR 모델 사용해 보기

VibeVoice은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/microsoft/VibeVoice