Resemble AI의 오픈 소스 TTS 모델 제품군으로, 짧은 참조 음성 클립을 바탕으로 영어를 비롯한 여러 언어에서 음성 복제를 지원합니다.
ysharma3501/LuxTTS
GPU에서 실시간의 150배 이상으로 실행되는 경량 ZipVoice 기반 음성 복제 및 48kHz 음성 생성 TTS 모델입니다.
대체할 수 있는 제품:ElevenLabs
- 스타
- 5,487
- 포크
- 685
- 열린 이슈
- 32
- 마지막 커밋
- 5개월 전
어떤 프로젝트인가요?
LuxTTS는 ZipVoice 아키텍처를 기반으로 4단계 샘플링으로 증류한 텍스트 음성 변환(TTS) 모델입니다. 짧은 참조 녹음을 입력하면 화자의 목소리를 복제해 텍스트를 음성으로 생성합니다. 기본 ZipVoice 설정이 24kHz를 사용하는 것과 달리, LuxTTS는 커스텀 보코더를 사용해 48kHz 출력을 제공합니다.
이 프로젝트는 빠른 속도와 낮은 메모리 사용량을 목표로 합니다. 단일 GPU에서 실시간의 최대 150배 속도로 실행되고, CPU에서도 실시간보다 빠르며, VRAM 약 1GB 이내에서 구동되는 것으로 소개되어 있습니다. CUDA, CPU, Mac용 MPS 기기를 지원합니다.
Python API로 사용할 수 있습니다. LuxTTS(...)로 모델을 불러오고, encode_prompt로 프롬프트 오디오 파일을 인코딩한 다음 num_steps, speed, t_shift 같은 선택적 매개변수와 함께 generate_speech를 호출하면 됩니다. 저장소에는 Hugging Face 모델과 Space, Colab 노트북 링크뿐 아니라 Gradio 앱, ComfyUI 노드, ONNX 포트 등 커뮤니티 통합 기능도 안내되어 있습니다.
핵심 기능
- 01짧은 참조 오디오 파일(wav 또는 mp3, 약 3초 이상)로 음성을 복제합니다.
- 0248kHz 음성을 출력합니다.
- 03단일 GPU에서 실시간의 최대 150배 속도로 실행되며, CPU에서도 실시간보다 빠릅니다.
- 04VRAM 약 1GB 이내에서 실행됩니다.
- 05CUDA, CPU, Apple MPS 기기를 지원합니다.
활용 사례
- 로컬 GPU에서 복제한 목소리로 보이스오버나 내레이션을 생성합니다.
- 노트북 CPU나 Mac에서 음성 합성을 실행합니다.
- 빠른 속도와 높은 샘플링 레이트의 음성이 필요한 앱용 TTS 백엔드를 구축합니다.
빠른 시작
- 1
저장소를 클론합니다
git clone https://github.com/ysharma3501/LuxTTS.git - 2
프로젝트 폴더로 이동합니다
cd LuxTTS - 3
종속 항목을 설치합니다
pip install -r requirements.txt - 4
Python에서 GPU에 모델을 로드하고 음성을 생성합니다(README의 추론 예시 참조)
from zipvoice.luxvoice import LuxTTS
사용 전 알아둘 점
- 음성 클로닝에는 최소 3초 길이의 참조 오디오 파일이 필요합니다.
- 실시간 대비 150배라는 속도 주장은 단일 GPU 기준입니다. README에는 CPU가 실시간보다 빠르다는 설명 외에 CPU나 Mac 벤치마크가 없습니다.
- Float16 추론은 아직 출시되지 않아 현재는 float32로 실행됩니다.
토픽
자주 묻는 질문
- LuxTTS은(는) 무엇인가요?
- GPU에서 실시간의 150배 이상으로 실행되는 경량 ZipVoice 기반 음성 복제 및 48kHz 음성 생성 TTS 모델입니다. LuxTTS는 ZipVoice 아키텍처를 기반으로 4단계 샘플링으로 증류한 텍스트 음성 변환(TTS) 모델입니다. 짧은 참조 녹음을 입력하면 화자의 목소리를 복제해 텍스트를 음성으로 생성합니다. 기본 ZipVoice 설정이 24kHz를 사용하는 것과 달리, LuxTTS는 커스텀 보코더를 사용해 48kHz 출력을 제공합니다.
- LuxTTS은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
- LuxTTS은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
- LuxTTS은(는) 아직 유지보수되고 있나요?
- 6개월 이내 업데이트. LuxTTS의 마지막 커밋은 2026년 6월 5일입니다.
- LuxTTS은(는) 어디에 사용할 수 있나요?
- 로컬 GPU에서 복제한 목소리로 보이스오버나 내레이션을 생성합니다. 노트북 CPU나 Mac에서 음성 합성을 실행합니다. 빠른 속도와 높은 샘플링 레이트의 음성이 필요한 앱용 TTS 백엔드를 구축합니다.
- LuxTTS는 어떻게 설치하나요?
- 저장소를 클론합니다: git clone https://github.com/ysharma3501/LuxTTS.git 프로젝트 폴더로 이동합니다: cd LuxTTS 종속 항목을 설치합니다: pip install -r requirements.txt Python에서 GPU에 모델을 로드하고 음성을 생성합니다(README의 추론 예시 참조): from zipvoice.luxvoice import LuxTTS
- LuxTTS은(는) 어디서 받을 수 있나요?
- 소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/ysharma3501/LuxTTS
요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.
관련 프로젝트
Flow matching과 Diffusion Transformer를 사용하는 오픈소스 TTS 시스템으로, 짧은 참조 오디오만으로 zero-shot 음성 클로닝을 지원합니다.
LLM 스타일 모델을 기반으로 음성 복제, 자연어 감정 제어, 다중 화자 생성을 지원하는 오픈 소스 TTS 시스템입니다.
5초 분량의 오디오로 목소리를 복제하고 CPU에서 실시간으로 실행되는 KittenTTS 2 모델을 사용하는 오픈 소스 TTS 라이브러리입니다.
600개 이상의 언어를 지원하고 음성 복제와 음성 디자인 기능을 제공하는 오픈소스 대규모 다국어 제로샷 TTS 모델입니다.
8,200만 개 파라미터를 갖춘 오픈 웨이트 음성 합성 모델 Kokoro-82M의 Python 추론 라이브러리입니다.