Repolode
投稿する
ysharma3501

ysharma3501/LuxTTS

軽量なZipVoiceベースのTTSモデル。音声のクローンと48kHzの音声生成に対応し、GPUでリアルタイムの150倍超で動作。

代替できる製品:ElevenLabs

GitHub で見る
スター
5,487
フォーク
685
未解決の Issue
32
最終コミット
5 か月前

これは何？

LuxTTSは、ZipVoiceアーキテクチャをベースに、サンプリングステップ数を4回に蒸留した音声合成モデルです。短い参照音声をもとに話者の声を再現し、テキストから音声を生成します。出力は48kHzで、標準のZipVoice構成が24kHzであるのに対し、独自のボコーダーを使用しています。

速度と省メモリを重視しており、単一GPUでリアルタイムの最大150倍、CPUでもリアルタイムを超える速度で動作し、VRAMは約1GBで済むとされています。CUDA、CPU、Mac向けのMPSに対応しています。

Python APIで利用できます。LuxTTS(...)でモデルを読み込み、encode_promptでプロンプト音声ファイルをエンコードした後、num_steps、speed、t_shiftなどのオプションパラメーターを指定してgenerate_speechを呼び出します。リポジトリからはHugging FaceのモデルとSpace、Colabノートブック、Gradioアプリ、ComfyUIノード、ONNX移植版などのコミュニティ製連携にもアクセスできます。

主な機能

  • 01短い参照音声ファイル（wavまたはmp3、約3秒以上）から声をクローンできます。
  • 0248kHzの音声を出力します。
  • 03単一GPUでリアルタイムの最大150倍、CPUでもリアルタイムを超える速度で動作します。
  • 04VRAM約1GBで動作します。
  • 05CUDA、CPU、Apple MPSに対応しています。

ユースケース

  • ローカルGPUで、クローンした声によるボイスオーバーやナレーションを生成する。
  • ノートPCのCPUやMacで音声合成を実行する。
  • 高速かつ高サンプルレートの音声を必要とするアプリ向けに、TTSバックエンドを構築する。

クイックスタート

  1. 1

    リポジトリをクローンする

    git clone https://github.com/ysharma3501/LuxTTS.git
  2. 2

    プロジェクトフォルダーに移動する

    cd LuxTTS
  3. 3

    依存関係をインストールする

    pip install -r requirements.txt
  4. 4

    PythonでGPUにモデルを読み込み、音声を生成する（READMEの推論例を参照）

    from zipvoice.luxvoice import LuxTTS

使う前に知っておきたいこと

  • ボイスクローニングには、3秒以上の参照音声ファイルが必要です。
  • リアルタイムの150倍という速度の記載は、単一のGPUを使用した場合を指します。READMEには、CPUはリアルタイムより高速とあるものの、CPUやMacでのベンチマークは記載されていません。
  • Float16での推論はまだリリースされていないため、現在はfloat32で実行されます。

トピック

#text-to-speech#voice-cloning#speech-synthesis#pytorch#audio#deep-learning

よくある質問

LuxTTS とは？
軽量なZipVoiceベースのTTSモデル。音声のクローンと48kHzの音声生成に対応し、GPUでリアルタイムの150倍超で動作。 LuxTTSは、ZipVoiceアーキテクチャをベースに、サンプリングステップ数を4回に蒸留した音声合成モデルです。短い参照音声をもとに話者の声を再現し、テキストから音声を生成します。出力は48kHzで、標準のZipVoice構成が24kHzであるのに対し、独自のボコーダーを使用しています。
LuxTTS は無料で使えますか？ライセンスは？
LuxTTS は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
LuxTTS は今もメンテナンスされていますか？
半年以内に更新あり。LuxTTS の最終コミットは 2026年6月5日 です。
LuxTTS は何に使えますか？
ローカルGPUで、クローンした声によるボイスオーバーやナレーションを生成する。 ノートPCのCPUやMacで音声合成を実行する。 高速かつ高サンプルレートの音声を必要とするアプリ向けに、TTSバックエンドを構築する。
LuxTTS のインストール方法は？
リポジトリをクローンする: git clone https://github.com/ysharma3501/LuxTTS.git プロジェクトフォルダーに移動する: cd LuxTTS 依存関係をインストールする: pip install -r requirements.txt PythonでGPUにモデルを読み込み、音声を生成する（READMEの推論例を参照）: from zipvoice.luxvoice import LuxTTS
LuxTTS はどこで入手できますか？
ソースコードとインストール手順は GitHub にあります：https://github.com/ysharma3501/LuxTTS

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト