k2-fsa/OmniVoice

어떤 프로젝트인가요?

핵심 기능

• 01짧은 참조 음성 클립으로 제로샷 음성 복제.
• 02성별, 나이, 음높이, 스타일, 억양, 중국어 방언을 지정해 음성 디자인.
• 03텍스트에 [laughter], [sigh] 같은 비언어 태그 삽입.
• 04발음 교정을 위한 병음 및 CMU 음소 입력.
• 05NVIDIA, Apple Silicon, Intel Arc GPU에서 실행.
• 06Python API, Gradio 웹 데모, 멀티 GPU 배치 추론을 포함한 CLI 도구 제공.

활용 사례

• 다양한 언어로 음성 해설이나 내레이션 생성.
• 동의를 얻은 뒤 특정 화자의 음성을 복제해 개인화된 음성 출력 제공.
• 여러 GPU를 사용해 대량의 음성 오디오를 배치 생성.
• API를 연동하기 전에 로컬 Gradio 데모에서 TTS 기능 프로토타이핑.

빠른 시작

1. 1

   사용 중인 하드웨어에 맞는 PyTorch를 설치합니다(NVIDIA GPU 예시).

   pip install torch==2.8.0+cu128 torchaudio==2.8.0+cu128 --extra-index-url https://download.pytorch.org/whl/cu128
2. 2

   PyPI에서 OmniVoice를 설치합니다.

   pip install omnivoice
3. 3

   로컬 웹 데모를 실행합니다.

   omnivoice-demo --ip 0.0.0.0 --port 8001

사용 전 알아둘 점

• !음성 디자인은 중국어와 영어 데이터로만 학습되었으므로 다른 언어에서는 불안정할 수 있습니다.
• !원활하게 실행하려면 일반적으로 GPU(CUDA, Apple Silicon MPS 또는 Intel Arc XPU)가 필요하며, 사전 학습된 모델을 Hugging Face에서 다운로드해야 합니다.
• !FlashInfer 가속은 NVIDIA GPU에서만 사용할 수 있습니다.

토픽

자주 묻는 질문

OmniVoice은(는) 무엇인가요?

600개 이상의 언어를 지원하고 음성 복제와 음성 디자인 기능을 제공하는 오픈소스 대규모 다국어 제로샷 TTS 모델입니다. OmniVoice는 언어별 학습 없이 600개가 넘는 언어로 음성을 생성하는 텍스트 음성 변환 모델입니다. 디퓨전 언어 모델 스타일의 아키텍처를 기반으로 하며, 짧은 참조 음성 클립으로 제로샷 음성 복제를 지원합니다. 또한 성별, 나이, 음높이, 억양, 중국어 방언 등의 특징을 지정해 음성을 디자인할 수도 있습니다.

OmniVoice은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

OmniVoice은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

OmniVoice은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. OmniVoice의 마지막 커밋은 2026년 10월 12일입니다.

OmniVoice은(는) 어디에 사용할 수 있나요?

다양한 언어로 음성 해설이나 내레이션 생성. 동의를 얻은 뒤 특정 화자의 음성을 복제해 개인화된 음성 출력 제공. 여러 GPU를 사용해 대량의 음성 오디오를 배치 생성. API를 연동하기 전에 로컬 Gradio 데모에서 TTS 기능 프로토타이핑.

OmniVoice는 어떻게 설치하나요?

사용 중인 하드웨어에 맞는 PyTorch를 설치합니다(NVIDIA GPU 예시).: pip install torch==2.8.0+cu128 torchaudio==2.8.0+cu128 --extra-index-url https://download.pytorch.org/whl/cu128 PyPI에서 OmniVoice를 설치합니다.: pip install omnivoice 로컬 웹 데모를 실행합니다.: omnivoice-demo --ip 0.0.0.0 --port 8001

OmniVoice은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/k2-fsa/OmniVoice