Repolode
ekwek1

ekwek1/soprano

Sopranoは、CUDA・CPU・MPSに対応し、ストリーミング出力が可能な超軽量のオンデバイス音声合成モデルです。

スター
1,618
フォーク
138
未解決の Issue
19
最終コミット
9 か月前

これは何?

Sopranoは、コンパクトな8,000万パラメータのアーキテクチャを採用した音声合成モデルで、一般的なコンシューマー向けハードウェアで高速かつ高品質な英語音声を生成できます。32kHzの音声を生成し、CPUとGPUのどちらでも低遅延のストリーミングに対応しています。また、長い入力テキストは自動的に分割されるため、出力の長さに上限はありません。

実行方法として、WebUI、CLI、uvicornで提供するOpenAI互換の音声エンドポイント、バッチ推論とストリーミング推論に対応したPython APIが用意されています。Windows、Linux、MacでCUDA、CPU、Apple MPSを利用でき、NVIDIA GPU向けのlmdeployバックエンドもオプションで使用できます。コミュニティによるONNXおよびComfyUI連携へのリンクもプロジェクトから参照できます。

Sopranoが現在対応しているのは英語のみで、ボイスクローニングには対応していません。約1,000時間の音声データで学習されているため、珍しい単語は誤って発音される場合があります。ファインチューニングは、別プロジェクトのSoprano-Factoryで行います。

主な機能

  • 01CPU、CUDA、Apple MPS搭載デバイスで32kHzの音声を生成します。
  • 02低遅延のストリーミングに対応し、長いテキストを自動的に分割します。
  • 03WebUI、CLI、Python API、OpenAI互換の音声エンドポイントを提供します。
  • 04複数の文をまとめて処理するバッチ推論に対応しています。
  • 058,000万パラメータのモデルを使用し、1GB未満のメモリで動作します。

ユースケース

  • クラウドAPIを使わずに、デスクトップアプリやエッジアプリへローカルの英語音声出力を追加する。
  • 社内アプリ向けにOpenAI形式の音声エンドポイントを提供する。
  • ナレーションやボイスオーバー音声をバッチ生成する。
  • 音声生成を組み込んだComfyUIワークフローを構築する。

クイックスタート

  1. 1

    パッケージをインストール(CPU/MPS)

    pip install soprano-tts
  2. 2

    Webインターフェースを起動

    soprano-webui

使う前に知っておきたいこと

  • 英語のみ対応。多言語サポートは今後のロードマップに含まれています。
  • 音声クローンには対応していません。
  • 学習に使用した音声データは約1,000時間のみのため、珍しい単語は発音を誤る場合があります。
  • WindowsでCUDAを使用する場合は、CUDA版のPyTorchを手動で再インストールする必要があります。

トピック

よくある質問

soprano とは?
Sopranoは、CUDA・CPU・MPSに対応し、ストリーミング出力が可能な超軽量のオンデバイス音声合成モデルです。 Sopranoは、コンパクトな8,000万パラメータのアーキテクチャを採用した音声合成モデルで、一般的なコンシューマー向けハードウェアで高速かつ高品質な英語音声を生成できます。32kHzの音声を生成し、CPUとGPUのどちらでも低遅延のストリーミングに対応しています。また、長い入力テキストは自動的に分割されるため、出力の長さに上限はありません。
soprano は無料で使えますか?ライセンスは?
soprano は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
soprano は今もメンテナンスされていますか?
半年以上コミットなし。soprano の最終コミットは 2026年1月15日 です。
soprano は何に使えますか?
クラウドAPIを使わずに、デスクトップアプリやエッジアプリへローカルの英語音声出力を追加する。 社内アプリ向けにOpenAI形式の音声エンドポイントを提供する。 ナレーションやボイスオーバー音声をバッチ生成する。 音声生成を組み込んだComfyUIワークフローを構築する。
soprano のインストール方法は?
パッケージをインストール(CPU/MPS): pip install soprano-tts Webインターフェースを起動: soprano-webui
soprano はどこで入手できますか?
ソースコードとインストール手順は GitHub にあります:https://github.com/ekwek1/soprano

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト