Resemble AI의 오픈 소스 TTS 모델 제품군으로, 짧은 참조 음성 클립을 바탕으로 영어를 비롯한 여러 언어에서 음성 복제를 지원합니다.
fishaudio/fish-speech
LLM 스타일 모델을 기반으로 음성 복제, 자연어 감정 제어, 다중 화자 생성을 지원하는 오픈 소스 TTS 시스템입니다.
대체할 수 있는 제품:ElevenLabs
- 스타
- 33,309
- 포크
- 2,894
- 열린 이슈
- 21
- 마지막 커밋
- 6일 전
어떤 프로젝트인가요?
Fish Speech는 Fish Audio에서 만든 오픈 소스 텍스트 음성 변환 프로젝트입니다. 텍스트를 음성으로 변환하며, 짧은 참조 음성 클립으로 목소리를 복제할 수 있습니다. S2-Pro 모델의 경우 약 10~30초 분량이면 됩니다. [whisper], [angry], [laughing] 같은 인라인 태그로 텍스트 안에서 감정과 운율을 제어할 수 있고, 화자 ID를 지정하면 화자별로 따로 생성하지 않아도 하나의 텍스트에 여러 등장인물의 목소리를 담을 수 있습니다.
이 프로젝트는 두 세대의 모델을 제공합니다. 최신 플래그십 모델인 Drama 3는 여러 등장인물이 나오는 장면과 장편 콘텐츠를 대상으로 하며, 멀티턴 수정 기능과 기존 오디오에서 단어 하나를 직접 편집하는 기능을 추가했습니다. 이전 세대 모델인 S2-Pro는 일반 소비자용 GPU에서도 실행할 수 있을 만큼 작고, 약 100개 언어를 지원한다고 설명되어 있습니다. 두 모델은 같은 CLI와 API 서버를 사용하며, 체크포인트의 config를 바탕으로 모델 유형을 판별합니다.
저장소에는 설치, 가중치 다운로드, Docker 배포, CLI·API 서버·WebUI를 통한 추론 방법이 문서화되어 있습니다. 모델 가중치는 Hugging Face에 공개되어 있으며, 코드베이스와 가중치는 Fish Audio Community License로 배포됩니다. 단, S2-Pro 가중치에는 별도의 연구용 라이선스가 적용됩니다.
핵심 기능
- 01짧은 참조 음성 클립을 이용한 음성 복제
- 02인라인 자연어 태그로 감정과 운율 제어
- 03하나의 텍스트에서 여러 화자의 음성 생성
- 04기존 오디오에서 단어 단위로 직접 편집 (Drama 3)
- 05긴 텍스트에 대한 스트리밍 출력
- 06CLI, API 서버, WebUI를 통한 추론
활용 사례
- 표현력 있는 음성으로 내레이션이나 오디오북 제작
- 여러 등장인물이 나오는 대본 장면이나 대화 음성 제작
- API로 제공하는 자체 호스팅 TTS 백엔드 구축
- 음성 복제와 음성 합성 연구 실험
빠른 시작
- 1
환경 설정, 모델 가중치 다운로드 및 Docker 배포 방법은 설치 가이드를 확인하세요
- 2
명령줄, API 서버 및 WebUI 사용 방법은 추론 가이드를 확인하세요
사용 전 알아둘 점
- 코드베이스와 모델 가중치는 일반적인 오픈소스 라이선스가 아닌 Fish Audio Community License에 따라 제공됩니다.
- S2-Pro 가중치는 Fish Audio Research License에 따라 제공되며, 상업적 이용이 제한될 수 있습니다.
- 설정하려면 외부 문서를 참고하고 모델 가중치를 별도로 다운로드해야 합니다.
토픽
자주 묻는 질문
- fish-speech은(는) 무엇인가요?
- LLM 스타일 모델을 기반으로 음성 복제, 자연어 감정 제어, 다중 화자 생성을 지원하는 오픈 소스 TTS 시스템입니다. Fish Speech는 Fish Audio에서 만든 오픈 소스 텍스트 음성 변환 프로젝트입니다. 텍스트를 음성으로 변환하며, 짧은 참조 음성 클립으로 목소리를 복제할 수 있습니다. S2-Pro 모델의 경우 약 10~30초 분량이면 됩니다. [whisper], [angry], [laughing] 같은 인라인 태그로 텍스트 안에서 감정과 운율을 제어할 수 있고, 화자 ID를 지정하면 화자별로 따로 생성하지 않아도 하나의 텍스트에 여러 등장인물의 목소리를 담을 수 있습니다.
- fish-speech은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
- fish-speech은(는) Other 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
- fish-speech은(는) 아직 유지보수되고 있나요?
- 활발히 유지보수 중. fish-speech의 마지막 커밋은 2026년 10월 14일입니다.
- fish-speech은(는) 어디에 사용할 수 있나요?
- 표현력 있는 음성으로 내레이션이나 오디오북 제작 여러 등장인물이 나오는 대본 장면이나 대화 음성 제작 API로 제공하는 자체 호스팅 TTS 백엔드 구축 음성 복제와 음성 합성 연구 실험
- fish-speech는 어떻게 설치하나요?
- 환경 설정, 모델 가중치 다운로드 및 Docker 배포 방법은 설치 가이드를 확인하세요 명령줄, API 서버 및 WebUI 사용 방법은 추론 가이드를 확인하세요
- fish-speech은(는) 어디서 받을 수 있나요?
- 소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/fishaudio/fish-speech
요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.
관련 프로젝트
5초 분량의 오디오로 목소리를 복제하고 CPU에서 실시간으로 실행되는 KittenTTS 2 모델을 사용하는 오픈 소스 TTS 라이브러리입니다.
600개 이상의 언어를 지원하고 음성 복제와 음성 디자인 기능을 제공하는 오픈소스 대규모 다국어 제로샷 TTS 모델입니다.
8,200만 개 파라미터를 갖춘 오픈 웨이트 음성 합성 모델 Kokoro-82M의 Python 추론 라이브러리입니다.
GPU에서 실시간의 150배 이상으로 실행되는 경량 ZipVoice 기반 음성 복제 및 48kHz 음성 생성 TTS 모델입니다.
CPU에서 실시간으로 실행되는 0.1B 파라미터 다국어 TTS 모델로, 음성 복제와 48 kHz 스테레오 출력을 지원합니다.