Repolode
fishaudio

fishaudio/fish-speech

LLM 스타일 모델을 기반으로 음성 복제, 자연어 감정 제어, 다중 화자 생성을 지원하는 오픈 소스 TTS 시스템입니다.

대체할 수 있는 제품:ElevenLabs

스타
33,309
포크
2,894
열린 이슈
21
마지막 커밋
6일 전

어떤 프로젝트인가요?

Fish Speech는 Fish Audio에서 만든 오픈 소스 텍스트 음성 변환 프로젝트입니다. 텍스트를 음성으로 변환하며, 짧은 참조 음성 클립으로 목소리를 복제할 수 있습니다. S2-Pro 모델의 경우 약 10~30초 분량이면 됩니다. [whisper], [angry], [laughing] 같은 인라인 태그로 텍스트 안에서 감정과 운율을 제어할 수 있고, 화자 ID를 지정하면 화자별로 따로 생성하지 않아도 하나의 텍스트에 여러 등장인물의 목소리를 담을 수 있습니다.

이 프로젝트는 두 세대의 모델을 제공합니다. 최신 플래그십 모델인 Drama 3는 여러 등장인물이 나오는 장면과 장편 콘텐츠를 대상으로 하며, 멀티턴 수정 기능과 기존 오디오에서 단어 하나를 직접 편집하는 기능을 추가했습니다. 이전 세대 모델인 S2-Pro는 일반 소비자용 GPU에서도 실행할 수 있을 만큼 작고, 약 100개 언어를 지원한다고 설명되어 있습니다. 두 모델은 같은 CLI와 API 서버를 사용하며, 체크포인트의 config를 바탕으로 모델 유형을 판별합니다.

저장소에는 설치, 가중치 다운로드, Docker 배포, CLI·API 서버·WebUI를 통한 추론 방법이 문서화되어 있습니다. 모델 가중치는 Hugging Face에 공개되어 있으며, 코드베이스와 가중치는 Fish Audio Community License로 배포됩니다. 단, S2-Pro 가중치에는 별도의 연구용 라이선스가 적용됩니다.

핵심 기능

  • 01짧은 참조 음성 클립을 이용한 음성 복제
  • 02인라인 자연어 태그로 감정과 운율 제어
  • 03하나의 텍스트에서 여러 화자의 음성 생성
  • 04기존 오디오에서 단어 단위로 직접 편집 (Drama 3)
  • 05긴 텍스트에 대한 스트리밍 출력
  • 06CLI, API 서버, WebUI를 통한 추론

활용 사례

  • 표현력 있는 음성으로 내레이션이나 오디오북 제작
  • 여러 등장인물이 나오는 대본 장면이나 대화 음성 제작
  • API로 제공하는 자체 호스팅 TTS 백엔드 구축
  • 음성 복제와 음성 합성 연구 실험

빠른 시작

  1. 1

    환경 설정, 모델 가중치 다운로드 및 Docker 배포 방법은 설치 가이드를 확인하세요

  2. 2

    명령줄, API 서버 및 WebUI 사용 방법은 추론 가이드를 확인하세요

사용 전 알아둘 점

  • 코드베이스와 모델 가중치는 일반적인 오픈소스 라이선스가 아닌 Fish Audio Community License에 따라 제공됩니다.
  • S2-Pro 가중치는 Fish Audio Research License에 따라 제공되며, 상업적 이용이 제한될 수 있습니다.
  • 설정하려면 외부 문서를 참고하고 모델 가중치를 별도로 다운로드해야 합니다.

토픽

자주 묻는 질문

fish-speech은(는) 무엇인가요?
LLM 스타일 모델을 기반으로 음성 복제, 자연어 감정 제어, 다중 화자 생성을 지원하는 오픈 소스 TTS 시스템입니다. Fish Speech는 Fish Audio에서 만든 오픈 소스 텍스트 음성 변환 프로젝트입니다. 텍스트를 음성으로 변환하며, 짧은 참조 음성 클립으로 목소리를 복제할 수 있습니다. S2-Pro 모델의 경우 약 10~30초 분량이면 됩니다. [whisper], [angry], [laughing] 같은 인라인 태그로 텍스트 안에서 감정과 운율을 제어할 수 있고, 화자 ID를 지정하면 화자별로 따로 생성하지 않아도 하나의 텍스트에 여러 등장인물의 목소리를 담을 수 있습니다.
fish-speech은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
fish-speech은(는) Other 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
fish-speech은(는) 아직 유지보수되고 있나요?
활발히 유지보수 중. fish-speech의 마지막 커밋은 2026년 10월 14일입니다.
fish-speech은(는) 어디에 사용할 수 있나요?
표현력 있는 음성으로 내레이션이나 오디오북 제작 여러 등장인물이 나오는 대본 장면이나 대화 음성 제작 API로 제공하는 자체 호스팅 TTS 백엔드 구축 음성 복제와 음성 합성 연구 실험
fish-speech는 어떻게 설치하나요?
환경 설정, 모델 가중치 다운로드 및 Docker 배포 방법은 설치 가이드를 확인하세요 명령줄, API 서버 및 WebUI 사용 방법은 추론 가이드를 확인하세요
fish-speech은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/fishaudio/fish-speech

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트