kyutai-labs/moshi

Что это?

Ключевые возможности

• 01Полнодуплексный диалог с одновременным моделированием аудиопотоков пользователя и модели.
• 02Потоковый аудиокодек Mimi с частотой 12,5 Гц, битрейтом 1,1 кбит/с и размером кадра около 80 мс.
• 03Бэкенды для инференса на PyTorch, MLX и Rust.
• 04Версия на MLX запускается локально на macOS с квантованными весами 4 или 8 бит.
• 05Веб-клиент, клиент командной строки и клиент на Gradio, а также Docker Compose для CUDA.

Сценарии использования

• Создание голосовых помощников для общения в реальном времени, которых можно перебивать и которые отвечают без задержек при смене очереди.
• Локальный запуск модели для голосового диалога на Mac или iPhone с помощью MLX.
• Исследование потоковых нейронных аудиокодеков и speech-text-моделей.
• Использование Mimi в качестве потокового аудиотокенизатора с низким битрейтом в Python или Rust.

Быстрый старт

1. 1

   Установите клиент PyTorch из PyPI

   pip install -U moshi
2. 2

   Запустите сервер (будет загружена модель по умолчанию)

   python -m moshi.server
3. 3

   Откройте веб-интерфейс в браузере по адресу localhost:8998

Что важно знать

• !Версия PyTorch не поддерживает квантование и требует GPU примерно с 24 ГБ памяти.
• !Windows официально не поддерживается.
• !Веса модели распространяются по лицензии CC-BY 4.0, которая не является лицензией на открытое ПО.

Темы

Частые вопросы

Что такое moshi?

Мультимодальная speech-text foundation model и фреймворк для полнодуплексного голосового диалога, который одновременно говорит и слушает, с потоковым нейронным аудиокодеком Mimi. Moshi — speech-text foundation model и фреймворк для полнодуплексного голосового диалога от Kyutai. Он одновременно моделирует два аудиопотока: один для пользователя, другой для самого Moshi, поэтому может говорить и слушать одновременно, не ожидая своей очереди. Moshi также предсказывает текстовые токены собственной речи в виде внутреннего монолога; по данным проекта, это улучшает качество генерации.

moshi можно использовать бесплатно? Какая у него лицензия?

moshi распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.

moshi всё ещё поддерживается?

Обновлялся за последние 6 месяцев. Последний коммит в moshi — 9 сент. 2026 г..

Для чего можно использовать moshi?

Создание голосовых помощников для общения в реальном времени, которых можно перебивать и которые отвечают без задержек при смене очереди. Локальный запуск модели для голосового диалога на Mac или iPhone с помощью MLX. Исследование потоковых нейронных аудиокодеков и speech-text-моделей. Использование Mimi в качестве потокового аудиотокенизатора с низким битрейтом в Python или Rust.

Как установить moshi?

Установите клиент PyTorch из PyPI: pip install -U moshi Запустите сервер (будет загружена модель по умолчанию): python -m moshi.server Откройте веб-интерфейс в браузере по адресу localhost:8998

Где скачать moshi?

Исходный код и инструкции по установке — на GitHub: https://github.com/kyutai-labs/moshi