Repolode
SWivid

SWivid/F5-TTS

Diffusion Transformerを用いたflow matching方式のオープンソース音声合成システム。短い参照音声からゼロショットで音声を複製できます。

代替できる製品:ElevenLabs

スター
15,427
フォーク
2,250
未解決の Issue
65
最終コミット
6 日前

これは何?

F5-TTSは、ConvNeXt V2ブロックを使用するDiffusion Transformer(DiT)とflow matchingを基盤とした音声合成システムです。テキストと短い参照音声クリップから音声を生成し、話者ごとの学習を行わずに参照話者の声を再現します。また、著者が元論文を忠実に再現したものと説明するflat-UNet TransformerのE2 TTSバリアントや、flowのステップ向けのSway Sampling推論方式も含まれています。

リポジトリには、pipパッケージ、GradioのWebインターフェース、TOML設定ファイルで動作する推論用コマンドラインツールが用意されています。また、Hugging Face Accelerateを使った学習・ファインチューニングの手順、Gradioのファインチューニングアプリ、Dockerイメージ、デプロイ用のTritonおよびTensorRT-LLMランタイムも含まれています。

学習データのEmiliaが実環境から収集されたデータであるため、事前学習済みモデルはCC-BY-NCで公開されています。一方、コード自体はMITライセンスです。

主な機能

  • 01短い参照音声とその書き起こしから、ゼロショットで音声を複製できます。
  • 02推論用のGradio Webインターフェースと、ファインチューニングアプリを提供します。
  • 03複数の声を使ったストーリーにも対応する、TOML設定ファイル駆動のコマンドライン推論ツールを備えています。
  • 04Hugging Face Accelerateを使った学習とファインチューニングに対応します。
  • 05デプロイ用のDockerイメージと、TritonおよびTensorRT-LLMランタイムを提供します。

ユースケース

  • 短いサンプルから複製した声で、ナレーションやボイスオーバーを生成する。
  • flow matching方式の音声合成モデルや、その学習レシピを研究する。
  • TritonおよびTensorRT-LLMによるGPUアクセラレーションを活用し、セルフホスト型のTTSサービスをデプロイする。
  • 新しい言語や話者に合わせてベースモデルをファインチューニングする。

クイックスタート

  1. 1

    Python 3.10以降の環境を作成して有効化する

    conda create -n f5-tts python=3.11
  2. 2

    使用するデバイスに合ったPyTorchをインストールする(例:NVIDIA CUDA版)

    pip install torch==2.8.0+cu128 torchaudio==2.8.0+cu128 --extra-index-url https://download.pytorch.org/whl/cu128
  3. 3

    推論用にF5-TTSのpipパッケージをインストールする

    pip install f5-tts
  4. 4

    GradioのWebインターフェースを起動する

    f5-tts_infer-gradio

使う前に知っておきたいこと

  • 事前学習済みモデルはCC-BY-NCライセンスのため、商用利用できません。
  • 実用的な速度で推論するにはGPUが必要です。
  • FFmpegと、使用するハードウェアに合ったPyTorchのインストールが必要です。

トピック

よくある質問

F5-TTS とは?
Diffusion Transformerを用いたflow matching方式のオープンソース音声合成システム。短い参照音声からゼロショットで音声を複製できます。 F5-TTSは、ConvNeXt V2ブロックを使用するDiffusion Transformer(DiT)とflow matchingを基盤とした音声合成システムです。テキストと短い参照音声クリップから音声を生成し、話者ごとの学習を行わずに参照話者の声を再現します。また、著者が元論文を忠実に再現したものと説明するflat-UNet TransformerのE2 TTSバリアントや、flowのステップ向けのSway Sampling推論方式も含まれています。
F5-TTS は無料で使えますか?ライセンスは?
F5-TTS は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
F5-TTS は今もメンテナンスされていますか?
活発にメンテナンス中。F5-TTS の最終コミットは 2026年10月14日 です。
F5-TTS は何に使えますか?
短いサンプルから複製した声で、ナレーションやボイスオーバーを生成する。 flow matching方式の音声合成モデルや、その学習レシピを研究する。 TritonおよびTensorRT-LLMによるGPUアクセラレーションを活用し、セルフホスト型のTTSサービスをデプロイする。 新しい言語や話者に合わせてベースモデルをファインチューニングする。
F5-TTS のインストール方法は?
Python 3.10以降の環境を作成して有効化する: conda create -n f5-tts python=3.11 使用するデバイスに合ったPyTorchをインストールする(例:NVIDIA CUDA版): pip install torch==2.8.0+cu128 torchaudio==2.8.0+cu128 --extra-index-url https://download.pytorch.org/whl/cu128 推論用にF5-TTSのpipパッケージをインストールする: pip install f5-tts GradioのWebインターフェースを起動する: f5-tts_infer-gradio
F5-TTS はどこで入手できますか?
ソースコードとインストール手順は GitHub にあります:https://github.com/SWivid/F5-TTS

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト