SWivid/F5-TTS

어떤 프로젝트인가요?

핵심 기능

• 01짧은 참조 오디오와 해당 전사문을 사용한 zero-shot 음성 클로닝.
• 02추론용 Gradio 웹 인터페이스와 파인튜닝 앱.
• 03다중 화자 스토리도 지원하는 TOML 설정 파일 기반 커맨드라인 추론.
• 04Hugging Face Accelerate를 사용한 학습 및 파인튜닝.
• 05배포용 Docker 이미지와 Triton 및 TensorRT-LLM 런타임.

활용 사례

• 짧은 샘플을 바탕으로 클로닝한 음성으로 내레이션이나 보이스오버 생성.
• flow matching 텍스트 음성 변환 모델과 학습 레시피 연구.
• Triton 및 TensorRT-LLM의 GPU 가속을 활용해 자체 호스팅 TTS 서비스 배포.
• 새로운 언어나 화자에 맞게 기본 모델 파인튜닝.

빠른 시작

1. 1

   Python 3.10 이상 환경을 만들고 활성화합니다

   conda create -n f5-tts python=3.11
2. 2

   사용 중인 장치에 맞는 PyTorch를 설치합니다(예: NVIDIA CUDA 빌드)

   pip install torch==2.8.0+cu128 torchaudio==2.8.0+cu128 --extra-index-url https://download.pytorch.org/whl/cu128
3. 3

   추론용 F5-TTS pip 패키지를 설치합니다

   pip install f5-tts
4. 4

   Gradio 웹 인터페이스를 실행합니다

   f5-tts_infer-gradio

사용 전 알아둘 점

• !사전 학습된 모델은 CC-BY-NC 라이선스이므로 상업적으로 사용할 수 없습니다.
• !실용적인 속도로 추론하려면 GPU가 필요합니다.
• !FFmpeg와 하드웨어에 맞는 PyTorch 설치가 필요합니다.

토픽

자주 묻는 질문

F5-TTS은(는) 무엇인가요?

Flow matching과 Diffusion Transformer를 사용하는 오픈소스 TTS 시스템으로, 짧은 참조 오디오만으로 zero-shot 음성 클로닝을 지원합니다. F5-TTS는 ConvNeXt V2 블록을 사용하는 Diffusion Transformer(DiT) 기반 flow matching 텍스트 음성 변환 시스템입니다. 텍스트와 짧은 참조 오디오 클립으로 음성을 생성하며, 화자별 학습 없이 참조 음성의 화자를 재현합니다. 프로젝트에는 저자들이 원 논문을 충실히 재현한 모델이라고 설명하는 flat-UNet Transformer 기반 E2 TTS 변형과 flow 단계에 사용하는 Sway Sampling 추론 전략도 포함되어 있습니다.

F5-TTS은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

F5-TTS은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

F5-TTS은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. F5-TTS의 마지막 커밋은 2026년 10월 14일입니다.

F5-TTS은(는) 어디에 사용할 수 있나요?

짧은 샘플을 바탕으로 클로닝한 음성으로 내레이션이나 보이스오버 생성. flow matching 텍스트 음성 변환 모델과 학습 레시피 연구. Triton 및 TensorRT-LLM의 GPU 가속을 활용해 자체 호스팅 TTS 서비스 배포. 새로운 언어나 화자에 맞게 기본 모델 파인튜닝.

F5-TTS는 어떻게 설치하나요?

Python 3.10 이상 환경을 만들고 활성화합니다: conda create -n f5-tts python=3.11 사용 중인 장치에 맞는 PyTorch를 설치합니다(예: NVIDIA CUDA 빌드): pip install torch==2.8.0+cu128 torchaudio==2.8.0+cu128 --extra-index-url https://download.pytorch.org/whl/cu128 추론용 F5-TTS pip 패키지를 설치합니다: pip install f5-tts Gradio 웹 인터페이스를 실행합니다: f5-tts_infer-gradio

F5-TTS은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/SWivid/F5-TTS