microsoft/VibeVoice

これは何？

主な機能

• 01最大60分の音声を一度の処理で文字起こしし、話者ラベルとタイムスタンプを付与します。
• 02カスタムhotwordに対応し、特定分野の用語の認識精度を高められます。
• 03音声チャンクごとにテキストを出力するストリーミング音声認識に対応しています。
• 04最大4人の話者による、最長90分の会話音声を生成します。
• 05ストリーミング形式のテキスト入力に対応した、0.5BのリアルタイムTTSモデルを提供します。
• 06ASRのfinetuningコードとvLLMによる推論に対応しています。

ユースケース

• 話者を特定しながら、長時間の会議、インタビュー、ポッドキャストを文字起こしする。
• 台本から複数話者によるポッドキャスト風の音声を生成する。
• テキストを音声に変換しながらストリーミングする、低遅延の音声アシスタントを構築する。
• 独自データでfinetuningを行い、音声認識の実験をする。

クイックスタート

1. 1

   リアルタイムストリーミングTTSモデルのColabノートブックを開く

2. 2

   オンラインのPlaygroundでASRモデルを試す

使う前に知っておきたいこと

• !READMEには、モデルは研究開発のみを目的としており、十分なテストを行わずに商用利用することは推奨されないと記載されています。
• !不正利用が確認された後、VibeVoice-TTSのコードはこのリポジトリから削除されました。
• !READMEでは、出力に誤りや偏りが含まれる可能性があり、モデルがディープフェイクの作成に悪用されるおそれがあると警告しています。

トピック

よくある質問

VibeVoice とは？

Microsoftによるオープンソースの音声AIモデル群。長時間音声の認識（ASR）、複数話者の音声合成（TTS）、リアルタイムストリーミングTTSに対応。 VibeVoiceは、音声認識と音声合成の両方をカバーする、Microsoftのオープンソース音声AIモデル群です。ASRモデルのVibeVoice-ASRは、最大60分の音声を一度の処理で文字起こしし、誰がいつ何を話したかを出力します。カスタムhotwordとストリーミング認識にも対応しています。

VibeVoice は無料で使えますか？ライセンスは？

VibeVoice は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

VibeVoice は今もメンテナンスされていますか？

活発にメンテナンス中。VibeVoice の最終コミットは 2026年10月8日 です。

VibeVoice は何に使えますか？

話者を特定しながら、長時間の会議、インタビュー、ポッドキャストを文字起こしする。 台本から複数話者によるポッドキャスト風の音声を生成する。 テキストを音声に変換しながらストリーミングする、低遅延の音声アシスタントを構築する。 独自データでfinetuningを行い、音声認識の実験をする。

VibeVoice のインストール方法は？

リアルタイムストリーミングTTSモデルのColabノートブックを開く オンラインのPlaygroundでASRモデルを試す

VibeVoice はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/microsoft/VibeVoice