Repolode
投稿する
fishaudio

fishaudio/fish-speech

LLM系モデルを基盤とするオープンソースの音声合成システム。ボイスクローニング、自然言語による感情制御、複数話者の音声生成に対応します。

代替できる製品:ElevenLabs

GitHub で見る公式サイト
スター
33,309
フォーク
2,894
未解決の Issue
21
最終コミット
6 日前

これは何？

Fish SpeechはFish Audioによるオープンソースの音声合成プロジェクトです。テキストを音声に変換し、短い参照音声から声を複製できます。S2-Proモデルの場合、参照音声の長さはおよそ10〜30秒です。[whisper]、[angry]、[laughing]などのインラインタグでテキスト内の感情や韻律を制御でき、話者IDを使えば、話者ごとに個別生成しなくても、ひとつのテキストに複数の登場人物を含められます。

このプロジェクトでは、2世代のモデルを提供しています。新しいフラッグシップモデルのDrama 3は、複数の登場人物が登場するシーンや長尺コンテンツを想定しており、複数ターンにわたる修正機能と、既存音声内の単語を個別に編集する機能を追加しています。旧世代のS2-Proは、コンシューマー向けGPUで動作するほど小型で、約100言語に対応すると説明されています。どちらのモデルも同じコマンドラインとAPIサーバーを使用し、チェックポイントのconfigからモデルの種類が自動判定されます。

リポジトリには、インストール、重みのダウンロード、Dockerでのデプロイ、コマンドライン・APIサーバー・WebUIを使った推論の手順が記載されています。モデルの重みはHugging Faceで公開されており、コードベースと重みはFish Audio Community Licenseのもとで提供されています。ただし、S2-Proの重みには別の研究用ライセンスが適用されます。

主な機能

  • 01短い参照音声からのボイスクローニング
  • 02自然言語のインラインタグによる感情と韻律の制御
  • 03ひとつのテキスト内での複数話者の音声生成
  • 04既存音声の単語単位での部分編集（Drama 3）
  • 05長文向けのストリーミング出力
  • 06コマンドライン、APIサーバー、WebUIからの推論

ユースケース

  • 表現豊かなナレーションやオーディオブックの音声生成
  • 複数の登場人物が出てくる脚本シーンや会話音声の制作
  • API経由で利用できるセルフホスト型TTSバックエンドの構築
  • ボイスクローニングや音声合成の研究・実験

クイックスタート

  1. 1

    環境のセットアップ、モデルウェイトのダウンロード、Dockerでのデプロイについては、インストールガイドをお読みください

  2. 2

    コマンドライン、APIサーバー、WebUIの使い方については、推論ガイドをお読みください

使う前に知っておきたいこと

  • コードベースとモデルウェイトはFish Audio Community Licenseの下で提供されており、一般的なオープンソースライセンスではありません。
  • S2-ProのウェイトはFish Audio Research Licenseの下で提供されており、商用利用が制限される場合があります。
  • セットアップには外部ドキュメントの参照と、別途ダウンロードするモデルウェイトが必要です。

トピック

#text-to-speech#voice-cloning#speech-synthesis#transformer#llm#multilingual#audio#llama#tts#valle

よくある質問

fish-speech とは？
LLM系モデルを基盤とするオープンソースの音声合成システム。ボイスクローニング、自然言語による感情制御、複数話者の音声生成に対応します。 Fish SpeechはFish Audioによるオープンソースの音声合成プロジェクトです。テキストを音声に変換し、短い参照音声から声を複製できます。S2-Proモデルの場合、参照音声の長さはおよそ10〜30秒です。[whisper]、[angry]、[laughing]などのインラインタグでテキスト内の感情や韻律を制御でき、話者IDを使えば、話者ごとに個別生成しなくても、ひとつのテキストに複数の登場人物を含められます。
fish-speech は無料で使えますか？ライセンスは？
fish-speech は Other ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
fish-speech は今もメンテナンスされていますか？
活発にメンテナンス中。fish-speech の最終コミットは 2026年10月14日 です。
fish-speech は何に使えますか？
表現豊かなナレーションやオーディオブックの音声生成 複数の登場人物が出てくる脚本シーンや会話音声の制作 API経由で利用できるセルフホスト型TTSバックエンドの構築 ボイスクローニングや音声合成の研究・実験
fish-speech のインストール方法は？
環境のセットアップ、モデルウェイトのダウンロード、Dockerでのデプロイについては、インストールガイドをお読みください コマンドライン、APIサーバー、WebUIの使い方については、推論ガイドをお読みください
fish-speech はどこで入手できますか？
ソースコードとインストール手順は GitHub にあります：https://github.com/fishaudio/fish-speech

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト