Microsoftによるオープンソースの音声AIモデル群。長時間音声の認識(ASR)、複数話者の音声合成(TTS)、リアルタイムストリーミングTTSに対応。
NVIDIA-NeMo/Speech
音声認識(ASR)、音声合成(TTS)、音声LLMに対応し、音声AIモデルの構築、ファインチューニング、デプロイに使えるNVIDIAのオープンソースツールキット。
- スター
- 18,607
- フォーク
- 3,654
- 未解決の Issue
- 368
- 最終コミット
- 昨日
これは何?
NeMo Speechは、音声モデルを扱う研究者や開発者向けにNVIDIAが提供するPyTorchベースのフレームワークです。自動音声認識、音声合成、音声LLMに対応しており、既存のコードや事前学習済みチェックポイントを再利用して、モデルの作成、カスタマイズ、デプロイを支援します。
Hugging Faceでは、ストリーミング型とオフライン型のASRモデル、多言語TTSモデル、全二重音声チャットモデルなどの事前学習済みモデルを公開しています。より広範なNeMoツールキットから分離され、現在は音声、発話、マルチモーダルLLMに特化しています。
インストール方法は、ソースからuvを使う方法、ビルド済みNGCコンテナを使うDocker経由、既存のPyTorch環境にpipで追加する方法に対応しています。Python 3.12以降、PyTorch 2.7以降が必要で、トレーニングにはCUDA対応のNVIDIA GPUが必要です。
主な機能
- 01ストリーミング型とオフライン型に対応した自動音声認識モデル
- 02多言語対応の音声合成モデル
- 03音声LLMおよび全二重の音声会話モデル
- 04Hugging Faceで公開されている事前学習済みチェックポイント
- 05uv、Docker、または既存のPyTorch環境へのpip経由でインストール可能
ユースケース
- 特定の言語やドメイン向けの音声認識システムの構築やファインチューニング
- NVIDIA GPU上で低遅延のストリーミング文字起こしをデプロイ
- アプリケーション向けの多言語音声合成音声の作成
- 音声LLMや会話型音声エージェントの研究
クイックスタート
- 1
リポジトリをクローンする
git clone https://github.com/NVIDIA-NeMo/Speech.git - 2
プロジェクトディレクトリに移動する
cd Speech - 3
uvでサポート対象のスタックをインストールする(CUDA 13.x)
uv sync --extra all --extra cu13 - 4
または、既存のPyTorch環境にpipでインストールする
uv pip install 'nemo-toolkit[asr,tts]'
使う前に知っておきたいこと
- トレーニングにはCUDA対応のNVIDIA GPUが必要です。
- Python 3.12以上およびPyTorch 2.7以上が必要です。
トピック
よくある質問
- Speech とは?
- 音声認識(ASR)、音声合成(TTS)、音声LLMに対応し、音声AIモデルの構築、ファインチューニング、デプロイに使えるNVIDIAのオープンソースツールキット。 NeMo Speechは、音声モデルを扱う研究者や開発者向けにNVIDIAが提供するPyTorchベースのフレームワークです。自動音声認識、音声合成、音声LLMに対応しており、既存のコードや事前学習済みチェックポイントを再利用して、モデルの作成、カスタマイズ、デプロイを支援します。
- Speech は無料で使えますか?ライセンスは?
- Speech は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
- Speech は今もメンテナンスされていますか?
- 活発にメンテナンス中。Speech の最終コミットは 2026年10月20日 です。
- Speech は何に使えますか?
- 特定の言語やドメイン向けの音声認識システムの構築やファインチューニング NVIDIA GPU上で低遅延のストリーミング文字起こしをデプロイ アプリケーション向けの多言語音声合成音声の作成 音声LLMや会話型音声エージェントの研究
- Speech のインストール方法は?
- リポジトリをクローンする: git clone https://github.com/NVIDIA-NeMo/Speech.git プロジェクトディレクトリに移動する: cd Speech uvでサポート対象のスタックをインストールする(CUDA 13.x): uv sync --extra all --extra cu13 または、既存のPyTorch環境にpipでインストールする: uv pip install 'nemo-toolkit[asr,tts]'
- Speech はどこで入手できますか?
- ソースコードとインストール手順は GitHub にあります:https://github.com/NVIDIA-NeMo/Speech
概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。
関連プロジェクト
オフラインの音声認識・音声合成・機械翻訳で、メモの作成、読み上げ、翻訳ができる Linux デスクトップおよび Sailfish OS 向けアプリ。
VoxCPM2は、30言語に対応し、テキストの説明からの音声設計や短い参照音声からの音声クローンが可能な、オープンソースのトークナイザーフリー音声合成モデルです。
1つの参照音声から声を複製し、感情・速度・発音を制御できるゼロショット音声合成システム。
VAD、句読点付与、話者ラベル、OpenAI互換のサーバー機能を備えた、オフライン・ストリーミングASR向けのオープンソース音声認識ツールキット。
リアルタイム音声エージェントやアプリ向けの、音声認識・意図認識・音声合成に対応したオープンソースのオンデバイスツールキット。