Framework para definir modelos de aprendizaje automático de última generación de texto, visión, audio y modalidades múltiples, para inferencia y entrenamiento.
167,9 mil34,9 milPythonApache-2.0Actualizado hace 8 horas
kyutai-labs/moshi
Modelo fundacional de voz y texto y framework de diálogo hablado full-duplex que escucha y habla a la vez, con el códec de audio neuronal en streaming Mimi.
- Estrellas
- 11,263
- Forks
- 1,044
- Issues abiertos
- 97
- Último commit
- el mes pasado
¿Qué es?
Moshi es un modelo fundacional de voz y texto y un framework de diálogo hablado full-duplex de Kyutai. Modela dos flujos de audio a la vez, uno para el usuario y otro para el propio Moshi, por lo que puede hablar y escuchar simultáneamente en lugar de esperar a que cada persona termine su turno. Moshi también predice tokens de texto para su propia voz como monólogo interno, algo que el proyecto atribuye a una mejor calidad de generación.
El proyecto incluye Mimi, un códec de audio neuronal en streaming que codifica audio de 24 kHz en una representación de 12,5 Hz a 1,1 kbps, con un tamaño de trama de 80 ms. El repositorio ofrece tres stacks de inferencia: PyTorch para investigación, MLX para uso en dispositivos Mac y iPhone, y Rust para producción, que también incluye bindings de Mimi accesibles desde Python como rustymimi. Incluye un cliente con interfaz web, un cliente de línea de comandos y una demo de Gradio; además, los pesos preentrenados están publicados en Hugging Face.
Para ejecutar la versión de PyTorch se necesita una GPU con unos 24 GB de memoria, ya que todavía no es compatible con la cuantización. Windows no tiene soporte oficial.
Funciones clave
- 01Diálogo full-duplex que modela simultáneamente los flujos de audio del usuario y del modelo.
- 02Códec de audio en streaming Mimi a 12,5 Hz y 1,1 kbps, con un tamaño de trama de unos 80 ms.
- 03Backends de inferencia para PyTorch, MLX y Rust.
- 04La versión de MLX se ejecuta localmente en macOS con pesos cuantizados de 4 u 8 bits.
- 05Clientes para interfaz web, línea de comandos y Gradio, además de Docker Compose para CUDA.
Casos de uso
- Crear asistentes de voz en tiempo real a los que se pueda interrumpir y que respondan sin demoras entre turnos.
- Ejecutar localmente un modelo de diálogo hablado en un Mac o iPhone con MLX.
- Investigar códecs de audio neuronal en streaming y modelos de voz y texto.
- Usar Mimi como tokenizer de audio en streaming de baja tasa de bits en Python o Rust.
Inicio rápido
- 1
Instala el cliente de PyTorch desde PyPI
pip install -U moshi - 2
Inicia el servidor (se descargará el modelo predeterminado)
python -m moshi.server - 3
Abre la interfaz web en tu navegador en localhost:8998
Antes de usarlo
- La versión de PyTorch no admite la cuantización y necesita una GPU con unos 24 GB de memoria.
- Windows no cuenta con soporte oficial.
- Los pesos del modelo se publican bajo CC-BY 4.0, no bajo una licencia de software libre.
Temas
Preguntas frecuentes
- ¿Qué es moshi?
- Modelo fundacional de voz y texto y framework de diálogo hablado full-duplex que escucha y habla a la vez, con el códec de audio neuronal en streaming Mimi. Moshi es un modelo fundacional de voz y texto y un framework de diálogo hablado full-duplex de Kyutai. Modela dos flujos de audio a la vez, uno para el usuario y otro para el propio Moshi, por lo que puede hablar y escuchar simultáneamente en lugar de esperar a que cada persona termine su turno. Moshi también predice tokens de texto para su propia voz como monólogo interno, algo que el proyecto atribuye a una mejor calidad de generación.
- ¿moshi es gratuito? ¿Qué licencia tiene?
- moshi es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿moshi sigue mantenido?
- Actualizado en los últimos 6 meses. El último commit de moshi fue el 9 sept 2026.
- ¿Para qué puedo usar moshi?
- Crear asistentes de voz en tiempo real a los que se pueda interrumpir y que respondan sin demoras entre turnos. Ejecutar localmente un modelo de diálogo hablado en un Mac o iPhone con MLX. Investigar códecs de audio neuronal en streaming y modelos de voz y texto. Usar Mimi como tokenizer de audio en streaming de baja tasa de bits en Python o Rust.
- ¿Cómo se instala moshi?
- Instala el cliente de PyTorch desde PyPI: pip install -U moshi Inicia el servidor (se descargará el modelo predeterminado): python -m moshi.server Abre la interfaz web en tu navegador en localhost:8998
- ¿Dónde consigo moshi?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/kyutai-labs/moshi
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Familia de modelos de texto a voz de código abierto de Resemble AI, con clonación de voz a partir de un breve clip de referencia en inglés y muchos otros idiomas.
27,1 mil3,6 milPythonMITActualizado hace 3 meses
Kit open source de reconocimiento de voz para ASR offline y en streaming, con VAD, puntuación, etiquetas de hablante y servicio compatible con OpenAI.
20,8 mil2,1 milPythonMITActualizado anteayer
Biblioteca de inferencia en Python para Kokoro-82M, un modelo de texto a voz de pesos abiertos con 82 millones de parámetros.
9,5 mil1,1 milJavaScriptApache-2.0Actualizado el año pasado
Modelo TTS ligero basado en ZipVoice para clonar voces y generar audio a 48 kHz, con una velocidad de más de 150 veces el tiempo real en GPU.
5,5 mil685PythonApache-2.0Actualizado hace 5 meses
Detección de actividad de voz y de eventos de audio (habla, canto y música) de código abierto en más de 100 idiomas, con modos en streaming y sin streaming.
55038PythonApache-2.0Actualizado hace 6 meses