LLM系モデルを基盤とするオープンソースの音声合成システム。ボイスクローニング、自然言語による感情制御、複数話者の音声生成に対応します。
- スター
- 6,323
- フォーク
- 662
- 未解決の Issue
- 37
- 最終コミット
- 3 か月前
これは何?
NeuTTSは、Neuphonicが提供するオープンソースのオンデバイス音声合成モデルファミリーです。各モデルは小型LLMバックボーンとNeuCodecニューラル音声コーデックを組み合わせており、Web APIを介さずにローカルで音声を生成します。短い参照音声とその書き起こしがあれば、その話者の声で新しいテキストを読み上げられる、即時の音声クローンに対応しています。
ラインナップには、英語対応のNeuTTS-Air、英語・フランス語・ドイツ語・スペイン語の各モデルを含むNeuTTS-Nanoコレクション、感情制御と4種類の固定話者を備えた英語モデルNeuTTS-2Eがあります。スマートフォン、ノートPC、Raspberry Piで実行できる量子化済みGGUFビルドが提供されているほか、低レイテンシの推論向けにONNXデコーダーも利用できます。リポジトリには、バッチ合成とストリーミング合成、参照音声のエンコード、ファインチューニング用のPythonサンプルとスクリプトが含まれています。
生成音声には、デフォルトでPerthのウォーターマークが付与されます。Pythonパッケージはpipでインストールでき、llama-cpp-pythonとonnxruntime向けのオプションの追加依存関係も用意されています。
主な機能
- 01短い参照音声とその書き起こしから、すぐに音声をクローンできます。
- 02スマートフォン、ノートPC、Raspberry Piで実行できるGGUF量子化モデルを提供します。
- 03llama-cpp-pythonを使ったストリーミング合成に対応しています。
- 04英語、フランス語、ドイツ語、スペイン語に対応した多言語のNanoモデルを提供します。
- 05NeuTTS-2Eは、7種類の感情と4人の話者を切り替えられます。
- 06デフォルトで出力にウォーターマークが付きます。
ユースケース
- クラウドサービスを使わずに動作する、組み込み音声アシスタントや玩具の開発。
- データをデバイス内にとどめる必要があるアプリへの、オフライン音声出力の追加。
- 短い参照音声を使った音声クローンのプロトタイピング。
- Raspberry Piなどの低消費電力ハードウェアでの音声合成。
クイックスタート
- 1
PyPIからNeuTTSをインストールする
pip install neutts - 2
リポジトリをクローンして、プロジェクトフォルダーに移動する
git clone https://github.com/neuphonic/neutts.git && cd neutts - 3
基本的な例を実行して音声を合成する
python -m examples.basic_example --input_text "My name is Andy. I'm 25 and I just moved to London. The underground is pretty confusing, but it gets me around in no time at all." --ref_audio samples/jo.wav --ref_text samples/jo.txt
使う前に知っておきたいこと
- 一部のモデルは標準的なオープンソースライセンスではなくNeuTTS Open License 1.0を採用しており、リポジトリのライセンスも明確に記載されていません。
- ストリーミングに対応しているのはGGUFモデルのみです。
- 英語以外のモデルでは、同じ言語の参照音声を使うと最良の結果が得られます。
収録されている特集
トピック
よくある質問
- neutts とは?
- 小型LLMバックボーンを基盤とするオープンソースのオンデバイス音声合成モデル。約3秒の音声からすぐに音声をクローンできます。 NeuTTSは、Neuphonicが提供するオープンソースのオンデバイス音声合成モデルファミリーです。各モデルは小型LLMバックボーンとNeuCodecニューラル音声コーデックを組み合わせており、Web APIを介さずにローカルで音声を生成します。短い参照音声とその書き起こしがあれば、その話者の声で新しいテキストを読み上げられる、即時の音声クローンに対応しています。
- neutts は無料で使えますか?ライセンスは?
- neutts は Other ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
- neutts は今もメンテナンスされていますか?
- 半年以内に更新あり。neutts の最終コミットは 2026年7月30日 です。
- neutts は何に使えますか?
- クラウドサービスを使わずに動作する、組み込み音声アシスタントや玩具の開発。 データをデバイス内にとどめる必要があるアプリへの、オフライン音声出力の追加。 短い参照音声を使った音声クローンのプロトタイピング。 Raspberry Piなどの低消費電力ハードウェアでの音声合成。
- neutts のインストール方法は?
- PyPIからNeuTTSをインストールする: pip install neutts リポジトリをクローンして、プロジェクトフォルダーに移動する: git clone https://github.com/neuphonic/neutts.git && cd neutts 基本的な例を実行して音声を合成する: python -m examples.basic_example --input_text "My name is Andy. I'm 25 and I just moved to London. The underground is pretty confusing, but it gets me around in no time at all." --ref_audio samples/jo.wav --ref_text samples/jo.txt
- neutts はどこで入手できますか?
- ソースコードとインストール手順は GitHub にあります:https://github.com/neuphonic/neutts
概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。
関連プロジェクト
VoxCPM2は、30言語に対応し、テキストの説明からの音声設計や短い参照音声からの音声クローンが可能な、オープンソースのトークナイザーフリー音声合成モデルです。
Resemble AIによるオープンソースの音声合成モデルファミリー。短い参照音声から、英語をはじめ多言語で声をクローンできます。
KittenTTS 2で5秒の音声から声を複製し、CPU上でリアルタイムに動作するオープンソースの音声合成ライブラリ。
600以上の言語に対応し、音声クローンと音声デザインも可能なオープンソースの多言語ゼロショットTTSモデル。
Diffusion Transformerを用いたflow matching方式のオープンソース音声合成システム。短い参照音声からゼロショットで音声を複製できます。