Repolode
NVIDIA-NeMo

NVIDIA-NeMo/Speech

音声認識(ASR)、音声合成(TTS)、音声LLMに対応し、音声AIモデルの構築、ファインチューニング、デプロイに使えるNVIDIAのオープンソースツールキット。

スター
18,607
フォーク
3,654
未解決の Issue
368
最終コミット
昨日

これは何?

NeMo Speechは、音声モデルを扱う研究者や開発者向けにNVIDIAが提供するPyTorchベースのフレームワークです。自動音声認識、音声合成、音声LLMに対応しており、既存のコードや事前学習済みチェックポイントを再利用して、モデルの作成、カスタマイズ、デプロイを支援します。

Hugging Faceでは、ストリーミング型とオフライン型のASRモデル、多言語TTSモデル、全二重音声チャットモデルなどの事前学習済みモデルを公開しています。より広範なNeMoツールキットから分離され、現在は音声、発話、マルチモーダルLLMに特化しています。

インストール方法は、ソースからuvを使う方法、ビルド済みNGCコンテナを使うDocker経由、既存のPyTorch環境にpipで追加する方法に対応しています。Python 3.12以降、PyTorch 2.7以降が必要で、トレーニングにはCUDA対応のNVIDIA GPUが必要です。

主な機能

  • 01ストリーミング型とオフライン型に対応した自動音声認識モデル
  • 02多言語対応の音声合成モデル
  • 03音声LLMおよび全二重の音声会話モデル
  • 04Hugging Faceで公開されている事前学習済みチェックポイント
  • 05uv、Docker、または既存のPyTorch環境へのpip経由でインストール可能

ユースケース

  • 特定の言語やドメイン向けの音声認識システムの構築やファインチューニング
  • NVIDIA GPU上で低遅延のストリーミング文字起こしをデプロイ
  • アプリケーション向けの多言語音声合成音声の作成
  • 音声LLMや会話型音声エージェントの研究

クイックスタート

  1. 1

    リポジトリをクローンする

    git clone https://github.com/NVIDIA-NeMo/Speech.git
  2. 2

    プロジェクトディレクトリに移動する

    cd Speech
  3. 3

    uvでサポート対象のスタックをインストールする(CUDA 13.x)

    uv sync --extra all --extra cu13
  4. 4

    または、既存のPyTorch環境にpipでインストールする

    uv pip install 'nemo-toolkit[asr,tts]'

使う前に知っておきたいこと

  • トレーニングにはCUDA対応のNVIDIA GPUが必要です。
  • Python 3.12以上およびPyTorch 2.7以上が必要です。

トピック

よくある質問

Speech とは?
音声認識(ASR)、音声合成(TTS)、音声LLMに対応し、音声AIモデルの構築、ファインチューニング、デプロイに使えるNVIDIAのオープンソースツールキット。 NeMo Speechは、音声モデルを扱う研究者や開発者向けにNVIDIAが提供するPyTorchベースのフレームワークです。自動音声認識、音声合成、音声LLMに対応しており、既存のコードや事前学習済みチェックポイントを再利用して、モデルの作成、カスタマイズ、デプロイを支援します。
Speech は無料で使えますか?ライセンスは?
Speech は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
Speech は今もメンテナンスされていますか?
活発にメンテナンス中。Speech の最終コミットは 2026年10月20日 です。
Speech は何に使えますか?
特定の言語やドメイン向けの音声認識システムの構築やファインチューニング NVIDIA GPU上で低遅延のストリーミング文字起こしをデプロイ アプリケーション向けの多言語音声合成音声の作成 音声LLMや会話型音声エージェントの研究
Speech のインストール方法は?
リポジトリをクローンする: git clone https://github.com/NVIDIA-NeMo/Speech.git プロジェクトディレクトリに移動する: cd Speech uvでサポート対象のスタックをインストールする(CUDA 13.x): uv sync --extra all --extra cu13 または、既存のPyTorch環境にpipでインストールする: uv pip install 'nemo-toolkit[asr,tts]'
Speech はどこで入手できますか?
ソースコードとインストール手順は GitHub にあります:https://github.com/NVIDIA-NeMo/Speech

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト