kyutai-labs/moshi

这是什么？

核心功能

• 01全双工对话，同时建模用户与模型两路音频流。
• 02Mimi 流式音频编解码器，码率 1.1 kbps，帧长约 80 毫秒。
• 03提供 PyTorch、MLX 和 Rust 三种推理后端。
• 04MLX 版本可在 macOS 上使用 4 位或 8 位量化权重本地运行。
• 05提供网页界面、命令行和 Gradio 客户端，并支持 CUDA 的 Docker Compose 部署。

适用场景

• 开发可被打断、无需轮流等待的实时语音助手。
• 借助 MLX 在 Mac 或 iPhone 上本地运行语音对话模型。
• 研究流式神经音频编解码器和语音-文本模型。
• 在 Python 或 Rust 中将 Mimi 用作低码率流式音频 tokenizer。

快速上手

1. 1

   从 PyPI 安装 PyTorch 客户端

   pip install -U moshi
2. 2

   启动服务器(会下载默认模型)

   python -m moshi.server
3. 3

   在浏览器中打开 localhost:8998 的网页界面

使用前须知

• !PyTorch 版本不支持量化,需要约 24GB 显存的 GPU。
• !官方不支持 Windows 系统。
• !模型权重采用 CC-BY 4.0 许可协议发布。

标签

常见问题

moshi 是什么？

支持全双工实时语音对话的语音-文本基础模型与框架，附带流式神经音频编解码器 Mimi。 Moshi 是 Kyutai 推出的语音-文本基础模型与全双工语音对话框架。它同时建模用户和模型自身两路音频流，因此可以边说边听，而不必轮流等待。模型还会预测自身语音对应的文本 token，作为内心独白来提升生成质量。

moshi 可以免费使用吗？用的什么许可证？

moshi 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。

moshi 还在维护吗？

半年内有更新。moshi 最近一次提交是在 2026年9月9日。

moshi 适合用来做什么？

开发可被打断、无需轮流等待的实时语音助手。 借助 MLX 在 Mac 或 iPhone 上本地运行语音对话模型。 研究流式神经音频编解码器和语音-文本模型。 在 Python 或 Rust 中将 Mimi 用作低码率流式音频 tokenizer。

moshi 怎么安装和运行？

从 PyPI 安装 PyTorch 客户端: pip install -U moshi 启动服务器(会下载默认模型): python -m moshi.server 在浏览器中打开 localhost:8998 的网页界面

在哪里获取 moshi？

源代码和安装说明在 GitHub 上：https://github.com/kyutai-labs/moshi