kyutai-labs/moshi

어떤 프로젝트인가요?

핵심 기능

• 01사용자와 모델의 오디오 스트림을 동시에 모델링하는 풀 듀플렉스 대화.
• 0212.5 Hz, 1.1 kbps, 약 80 ms 프레임 크기를 지원하는 Mimi 스트리밍 오디오 코덱.
• 03PyTorch, MLX, Rust 추론 백엔드.
• 044비트 또는 8비트 양자화 가중치를 사용해 macOS에서 로컬 실행할 수 있는 MLX 버전.
• 05웹 UI, 명령줄 및 Gradio 클라이언트와 CUDA용 Docker Compose.

활용 사례

• 사용자가 대화 중 끼어들 수 있고 차례를 기다리는 지연 없이 응답하는 실시간 음성 비서 구축.
• MLX를 사용해 Mac 또는 iPhone에서 음성 대화 모델 로컬 실행.
• 스트리밍 신경 오디오 코덱과 음성-텍스트 모델 연구.
• Mimi를 Python 또는 Rust에서 저비트레이트 스트리밍 오디오 토크나이저로 사용.

빠른 시작

1. 1

   PyPI에서 PyTorch 클라이언트를 설치합니다

   pip install -U moshi
2. 2

   서버를 시작합니다(기본 모델이 다운로드됩니다)

   python -m moshi.server
3. 3

   브라우저에서 localhost:8998의 웹 UI를 엽니다

사용 전 알아둘 점

• !PyTorch 버전은 양자화를 지원하지 않으며, 메모리가 약 24GB인 GPU가 필요합니다.
• !Windows는 공식적으로 지원되지 않습니다.
• !모델 가중치는 CC-BY 4.0으로 공개되며, 오픈 소프트웨어 라이선스가 적용되지 않습니다.

토픽

자주 묻는 질문

moshi은(는) 무엇인가요?

Mimi 스트리밍 신경 오디오 코덱을 포함한 음성-텍스트 기반 모델이자, 듣고 말하기를 동시에 수행하는 풀 듀플렉스 음성 대화 프레임워크입니다. Moshi는 Kyutai가 개발한 음성-텍스트 기반 모델이자 풀 듀플렉스 음성 대화 프레임워크입니다. 사용자와 Moshi의 오디오 스트림을 동시에 모델링하므로 차례를 기다리는 대신 듣고 말하기를 동시에 수행할 수 있습니다. 또한 Moshi는 자신의 음성을 위한 텍스트 토큰을 내적 독백처럼 예측하며, 프로젝트에서는 이를 생성 품질 향상의 요인으로 보고 있습니다.

moshi은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

moshi은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

moshi은(는) 아직 유지보수되고 있나요?

6개월 이내 업데이트. moshi의 마지막 커밋은 2026년 9월 9일입니다.

moshi은(는) 어디에 사용할 수 있나요?

사용자가 대화 중 끼어들 수 있고 차례를 기다리는 지연 없이 응답하는 실시간 음성 비서 구축. MLX를 사용해 Mac 또는 iPhone에서 음성 대화 모델 로컬 실행. 스트리밍 신경 오디오 코덱과 음성-텍스트 모델 연구. Mimi를 Python 또는 Rust에서 저비트레이트 스트리밍 오디오 토크나이저로 사용.

moshi는 어떻게 설치하나요?

PyPI에서 PyTorch 클라이언트를 설치합니다: pip install -U moshi 서버를 시작합니다(기본 모델이 다운로드됩니다): python -m moshi.server 브라우저에서 localhost:8998의 웹 UI를 엽니다

moshi은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/kyutai-labs/moshi