Repolode
ysharma3501

ysharma3501/LuxTTS

GPU에서 실시간의 150배 이상으로 실행되는 경량 ZipVoice 기반 음성 복제 및 48kHz 음성 생성 TTS 모델입니다.

대체할 수 있는 제품:ElevenLabs

스타
5,487
포크
685
열린 이슈
32
마지막 커밋
5개월 전

어떤 프로젝트인가요?

LuxTTS는 ZipVoice 아키텍처를 기반으로 4단계 샘플링으로 증류한 텍스트 음성 변환(TTS) 모델입니다. 짧은 참조 녹음을 입력하면 화자의 목소리를 복제해 텍스트를 음성으로 생성합니다. 기본 ZipVoice 설정이 24kHz를 사용하는 것과 달리, LuxTTS는 커스텀 보코더를 사용해 48kHz 출력을 제공합니다.

이 프로젝트는 빠른 속도와 낮은 메모리 사용량을 목표로 합니다. 단일 GPU에서 실시간의 최대 150배 속도로 실행되고, CPU에서도 실시간보다 빠르며, VRAM 약 1GB 이내에서 구동되는 것으로 소개되어 있습니다. CUDA, CPU, Mac용 MPS 기기를 지원합니다.

Python API로 사용할 수 있습니다. LuxTTS(...)로 모델을 불러오고, encode_prompt로 프롬프트 오디오 파일을 인코딩한 다음 num_steps, speed, t_shift 같은 선택적 매개변수와 함께 generate_speech를 호출하면 됩니다. 저장소에는 Hugging Face 모델과 Space, Colab 노트북 링크뿐 아니라 Gradio 앱, ComfyUI 노드, ONNX 포트 등 커뮤니티 통합 기능도 안내되어 있습니다.

핵심 기능

  • 01짧은 참조 오디오 파일(wav 또는 mp3, 약 3초 이상)로 음성을 복제합니다.
  • 0248kHz 음성을 출력합니다.
  • 03단일 GPU에서 실시간의 최대 150배 속도로 실행되며, CPU에서도 실시간보다 빠릅니다.
  • 04VRAM 약 1GB 이내에서 실행됩니다.
  • 05CUDA, CPU, Apple MPS 기기를 지원합니다.

활용 사례

  • 로컬 GPU에서 복제한 목소리로 보이스오버나 내레이션을 생성합니다.
  • 노트북 CPU나 Mac에서 음성 합성을 실행합니다.
  • 빠른 속도와 높은 샘플링 레이트의 음성이 필요한 앱용 TTS 백엔드를 구축합니다.

빠른 시작

  1. 1

    저장소를 클론합니다

    git clone https://github.com/ysharma3501/LuxTTS.git
  2. 2

    프로젝트 폴더로 이동합니다

    cd LuxTTS
  3. 3

    종속 항목을 설치합니다

    pip install -r requirements.txt
  4. 4

    Python에서 GPU에 모델을 로드하고 음성을 생성합니다(README의 추론 예시 참조)

    from zipvoice.luxvoice import LuxTTS

사용 전 알아둘 점

  • 음성 클로닝에는 최소 3초 길이의 참조 오디오 파일이 필요합니다.
  • 실시간 대비 150배라는 속도 주장은 단일 GPU 기준입니다. README에는 CPU가 실시간보다 빠르다는 설명 외에 CPU나 Mac 벤치마크가 없습니다.
  • Float16 추론은 아직 출시되지 않아 현재는 float32로 실행됩니다.

토픽

자주 묻는 질문

LuxTTS은(는) 무엇인가요?
GPU에서 실시간의 150배 이상으로 실행되는 경량 ZipVoice 기반 음성 복제 및 48kHz 음성 생성 TTS 모델입니다. LuxTTS는 ZipVoice 아키텍처를 기반으로 4단계 샘플링으로 증류한 텍스트 음성 변환(TTS) 모델입니다. 짧은 참조 녹음을 입력하면 화자의 목소리를 복제해 텍스트를 음성으로 생성합니다. 기본 ZipVoice 설정이 24kHz를 사용하는 것과 달리, LuxTTS는 커스텀 보코더를 사용해 48kHz 출력을 제공합니다.
LuxTTS은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
LuxTTS은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
LuxTTS은(는) 아직 유지보수되고 있나요?
6개월 이내 업데이트. LuxTTS의 마지막 커밋은 2026년 6월 5일입니다.
LuxTTS은(는) 어디에 사용할 수 있나요?
로컬 GPU에서 복제한 목소리로 보이스오버나 내레이션을 생성합니다. 노트북 CPU나 Mac에서 음성 합성을 실행합니다. 빠른 속도와 높은 샘플링 레이트의 음성이 필요한 앱용 TTS 백엔드를 구축합니다.
LuxTTS는 어떻게 설치하나요?
저장소를 클론합니다: git clone https://github.com/ysharma3501/LuxTTS.git 프로젝트 폴더로 이동합니다: cd LuxTTS 종속 항목을 설치합니다: pip install -r requirements.txt Python에서 GPU에 모델을 로드하고 음성을 생성합니다(README의 추론 예시 참조): from zipvoice.luxvoice import LuxTTS
LuxTTS은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/ysharma3501/LuxTTS

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트