軽量なZipVoiceベースのTTSモデル。音声のクローンと48kHzの音声生成に対応し、GPUでリアルタイムの150倍超で動作。
SWivid/F5-TTS
Diffusion Transformerを用いたflow matching方式のオープンソース音声合成システム。短い参照音声からゼロショットで音声を複製できます。
代替できる製品:ElevenLabs
- スター
- 15,427
- フォーク
- 2,250
- 未解決の Issue
- 65
- 最終コミット
- 6 日前
これは何?
F5-TTSは、ConvNeXt V2ブロックを使用するDiffusion Transformer(DiT)とflow matchingを基盤とした音声合成システムです。テキストと短い参照音声クリップから音声を生成し、話者ごとの学習を行わずに参照話者の声を再現します。また、著者が元論文を忠実に再現したものと説明するflat-UNet TransformerのE2 TTSバリアントや、flowのステップ向けのSway Sampling推論方式も含まれています。
リポジトリには、pipパッケージ、GradioのWebインターフェース、TOML設定ファイルで動作する推論用コマンドラインツールが用意されています。また、Hugging Face Accelerateを使った学習・ファインチューニングの手順、Gradioのファインチューニングアプリ、Dockerイメージ、デプロイ用のTritonおよびTensorRT-LLMランタイムも含まれています。
学習データのEmiliaが実環境から収集されたデータであるため、事前学習済みモデルはCC-BY-NCで公開されています。一方、コード自体はMITライセンスです。
主な機能
- 01短い参照音声とその書き起こしから、ゼロショットで音声を複製できます。
- 02推論用のGradio Webインターフェースと、ファインチューニングアプリを提供します。
- 03複数の声を使ったストーリーにも対応する、TOML設定ファイル駆動のコマンドライン推論ツールを備えています。
- 04Hugging Face Accelerateを使った学習とファインチューニングに対応します。
- 05デプロイ用のDockerイメージと、TritonおよびTensorRT-LLMランタイムを提供します。
ユースケース
- 短いサンプルから複製した声で、ナレーションやボイスオーバーを生成する。
- flow matching方式の音声合成モデルや、その学習レシピを研究する。
- TritonおよびTensorRT-LLMによるGPUアクセラレーションを活用し、セルフホスト型のTTSサービスをデプロイする。
- 新しい言語や話者に合わせてベースモデルをファインチューニングする。
クイックスタート
- 1
Python 3.10以降の環境を作成して有効化する
conda create -n f5-tts python=3.11 - 2
使用するデバイスに合ったPyTorchをインストールする(例:NVIDIA CUDA版)
pip install torch==2.8.0+cu128 torchaudio==2.8.0+cu128 --extra-index-url https://download.pytorch.org/whl/cu128 - 3
推論用にF5-TTSのpipパッケージをインストールする
pip install f5-tts - 4
GradioのWebインターフェースを起動する
f5-tts_infer-gradio
使う前に知っておきたいこと
- 事前学習済みモデルはCC-BY-NCライセンスのため、商用利用できません。
- 実用的な速度で推論するにはGPUが必要です。
- FFmpegと、使用するハードウェアに合ったPyTorchのインストールが必要です。
トピック
よくある質問
- F5-TTS とは?
- Diffusion Transformerを用いたflow matching方式のオープンソース音声合成システム。短い参照音声からゼロショットで音声を複製できます。 F5-TTSは、ConvNeXt V2ブロックを使用するDiffusion Transformer(DiT)とflow matchingを基盤とした音声合成システムです。テキストと短い参照音声クリップから音声を生成し、話者ごとの学習を行わずに参照話者の声を再現します。また、著者が元論文を忠実に再現したものと説明するflat-UNet TransformerのE2 TTSバリアントや、flowのステップ向けのSway Sampling推論方式も含まれています。
- F5-TTS は無料で使えますか?ライセンスは?
- F5-TTS は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
- F5-TTS は今もメンテナンスされていますか?
- 活発にメンテナンス中。F5-TTS の最終コミットは 2026年10月14日 です。
- F5-TTS は何に使えますか?
- 短いサンプルから複製した声で、ナレーションやボイスオーバーを生成する。 flow matching方式の音声合成モデルや、その学習レシピを研究する。 TritonおよびTensorRT-LLMによるGPUアクセラレーションを活用し、セルフホスト型のTTSサービスをデプロイする。 新しい言語や話者に合わせてベースモデルをファインチューニングする。
- F5-TTS のインストール方法は?
- Python 3.10以降の環境を作成して有効化する: conda create -n f5-tts python=3.11 使用するデバイスに合ったPyTorchをインストールする(例:NVIDIA CUDA版): pip install torch==2.8.0+cu128 torchaudio==2.8.0+cu128 --extra-index-url https://download.pytorch.org/whl/cu128 推論用にF5-TTSのpipパッケージをインストールする: pip install f5-tts GradioのWebインターフェースを起動する: f5-tts_infer-gradio
- F5-TTS はどこで入手できますか?
- ソースコードとインストール手順は GitHub にあります:https://github.com/SWivid/F5-TTS
概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。
関連プロジェクト
Resemble AIによるオープンソースの音声合成モデルファミリー。短い参照音声から、英語をはじめ多言語で声をクローンできます。
600以上の言語に対応し、音声クローンと音声デザインも可能なオープンソースの多言語ゼロショットTTSモデル。
Microsoftによるオープンソースの音声AIモデル群。長時間音声の認識(ASR)、複数話者の音声合成(TTS)、リアルタイムストリーミングTTSに対応。
LLM系モデルを基盤とするオープンソースの音声合成システム。ボイスクローニング、自然言語による感情制御、複数話者の音声生成に対応します。
1つの参照音声から声を複製し、感情・速度・発音を制御できるゼロショット音声合成システム。