kyutai-labs/moshi

これは何？

主な機能

• 01全二重対話：ユーザーとモデルの音声ストリームを同時にモデル化します。
• 0212.5 Hz・1.1 kbpsで動作し、フレームサイズが約80ミリ秒のMimiストリーミング音声コーデック。
• 03PyTorch、MLX、Rustの推論バックエンド。
• 04MLX版はmacOS上でローカル実行でき、4ビットまたは8ビットに量子化された重みを利用できます。
• 05WebUI、コマンドライン、Gradioのクライアントに加え、CUDA向けのDocker Composeを提供。

ユースケース

• 割り込みが可能で、ターンテイキングによる待ち時間なく応答するリアルタイム音声アシスタントの構築。
• MLXを使い、MacやiPhone上で音声対話モデルをローカル実行すること。
• ストリーミング対応のニューラル音声コーデックおよび音声・テキスト基盤モデルの研究。
• PythonやRustから、低ビットレートのストリーミング音声トークナイザーとしてMimiを利用すること。

クイックスタート

1. 1

   PyPIからPyTorchクライアントをインストールします

   pip install -U moshi
2. 2

   サーバーを起動します（デフォルトモデルがダウンロードされます）

   python -m moshi.server
3. 3

   ブラウザーでlocalhost:8998のWeb UIを開きます

使う前に知っておきたいこと

• !PyTorch版は量子化に対応しておらず、約24GBのメモリを搭載したGPUが必要です。
• !Windowsは公式にはサポートされていません。
• !モデルの重みはCC-BY 4.0で公開されており、オープンソフトウェアライセンスではありません。

トピック

よくある質問

moshi とは？

同時に話しつつ聞くことができる、全二重の音声対話フレームワークおよび音声・テキスト基盤モデルで、ストリーミング対応のニューラル音声コーデックMimiを含みます。 Moshiは、Kyutaiが開発した音声・テキスト基盤モデルかつ全二重の音声対話フレームワークです。ユーザーの音声とMoshi自身の音声という2つの音声ストリームを同時にモデル化するため、順番を待つことなく話しながら聞くことができます。また、自身の音声に対応するテキストトークンを「内的独白」として予測する仕組みも備えており、プロジェクトではこれにより生成品質が向上すると説明されています。

moshi は無料で使えますか？ライセンスは？

moshi は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

moshi は今もメンテナンスされていますか？

半年以内に更新あり。moshi の最終コミットは 2026年9月9日 です。

moshi は何に使えますか？

割り込みが可能で、ターンテイキングによる待ち時間なく応答するリアルタイム音声アシスタントの構築。 MLXを使い、MacやiPhone上で音声対話モデルをローカル実行すること。 ストリーミング対応のニューラル音声コーデックおよび音声・テキスト基盤モデルの研究。 PythonやRustから、低ビットレートのストリーミング音声トークナイザーとしてMimiを利用すること。

moshi のインストール方法は？

PyPIからPyTorchクライアントをインストールします: pip install -U moshi サーバーを起動します（デフォルトモデルがダウンロードされます）: python -m moshi.server ブラウザーでlocalhost:8998のWeb UIを開きます

moshi はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/kyutai-labs/moshi