k2-fsa/OmniVoice

これは何？

主な機能

• 01短い参照音声からゼロショットで音声をクローンできます。
• 02性別、年齢、声の高さ、スタイル、アクセント、中国語の方言を指定して声をデザインできます。
• 03[laughter]や[sigh]などの非言語タグをテキストに挿入できます。
• 04発音修正用のピンインおよびCMUの音素入力に対応しています。
• 05NVIDIA、Apple Silicon、Intel ArcのGPUで動作します。
• 06Python API、GradioのWebデモ、マルチGPUバッチ推論を含むCLIツールを利用できます。

ユースケース

• 多くの言語でナレーションやボイスオーバーを生成する。
• 本人の同意を得たうえで特定の話者の声をクローンし、パーソナライズされた音声を生成する。
• 複数のGPUを使って大量の音声をバッチ生成する。
• APIを組み込む前に、ローカルのGradioデモでTTS機能のプロトタイプを作る。

クイックスタート

1. 1

   お使いのハードウェア向けにPyTorchをインストールする（NVIDIA GPUの場合）

   pip install torch==2.8.0+cu128 torchaudio==2.8.0+cu128 --extra-index-url https://download.pytorch.org/whl/cu128
2. 2

   PyPIからOmniVoiceをインストールする

   pip install omnivoice
3. 3

   ローカルのWebデモを起動する

   omnivoice-demo --ip 0.0.0.0 --port 8001

使う前に知っておきたいこと

• !音声デザインの学習データは中国語と英語のみのため、その他の言語では動作が不安定になる場合があります。
• !快適に実行するには通常、GPU（CUDA、Apple Silicon MPS、またはIntel Arc XPU）が必要です。また、事前学習済みモデルをHugging Faceからダウンロードする必要があります。
• !FlashInferによる高速化はNVIDIA GPUのみで利用できます。

トピック

よくある質問

OmniVoice とは？

600以上の言語に対応し、音声クローンと音声デザインも可能なオープンソースの多言語ゼロショットTTSモデル。 OmniVoiceは、言語ごとの学習なしで600以上の言語の音声を生成する音声合成モデルです。拡散言語モデル風のアーキテクチャを採用し、短い参照音声からのゼロショット音声クローンに対応しています。また、性別、年齢、声の高さ、アクセント、中国語の方言などの属性を指定して声をデザインできます。

OmniVoice は無料で使えますか？ライセンスは？

OmniVoice は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

OmniVoice は今もメンテナンスされていますか？

活発にメンテナンス中。OmniVoice の最終コミットは 2026年10月12日 です。

OmniVoice は何に使えますか？

多くの言語でナレーションやボイスオーバーを生成する。 本人の同意を得たうえで特定の話者の声をクローンし、パーソナライズされた音声を生成する。 複数のGPUを使って大量の音声をバッチ生成する。 APIを組み込む前に、ローカルのGradioデモでTTS機能のプロトタイプを作る。

OmniVoice のインストール方法は？

お使いのハードウェア向けにPyTorchをインストールする（NVIDIA GPUの場合）: pip install torch==2.8.0+cu128 torchaudio==2.8.0+cu128 --extra-index-url https://download.pytorch.org/whl/cu128 PyPIからOmniVoiceをインストールする: pip install omnivoice ローカルのWebデモを起動する: omnivoice-demo --ip 0.0.0.0 --port 8001

OmniVoice はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/k2-fsa/OmniVoice