Microsoft의 오픈소스 음성 AI 모델 제품군으로, 장문 음성 인식(ASR), 다중 화자 텍스트 음성 변환(TTS), 실시간 스트리밍 TTS 모델을 제공합니다.
nyosegawa/speech.cpp
ggml 기반 C++ 음성 툴킷으로, Metal·Vulkan·CPU에서 텍스트 음성 변환, 음성 인식, 음성 활동 감지를 지원하며 OpenAI 호환 서버를 제공합니다.
대체할 수 있는 제품:OpenAI Whisper API
- 스타
- 368
- 포크
- 23
- 열린 이슈
- 12
- 마지막 커밋
- 6일 전
어떤 프로젝트인가요?
speech.cpp는 음성 합성, 음성 인식, 음성 활동 감지, 화자 분리를 위한 단일 C API를 제공하는 `speech` 명령과 공유 라이브러리 `libspeech`로 구성됩니다. ggml을 통해 CPU, Metal, Vulkan에서 실행되며, 각 모델은 코덱을 포함한 GGUF 파일 하나로 이름을 지정해 내려받으므로 Python이나 CUDA를 설정할 필요가 없습니다.
모델 카탈로그에는 합성용 Qwen3-TTS, Irodori-TTS, Drama 3과 인식용 Qwen3-ASR, ReazonSpeech, parakeet, Haas, Nemotron이 포함되며, 감지 및 화자 분리에는 Silero VAD와 Nemotron diarization을 사용할 수 있습니다. `speech serve` 명령은 로컬 HTTP에서 OpenAI의 오디오 음성 및 전사 엔드포인트와 Realtime 전사 기능을 제공하며, `speech asr --live`는 말하는 내용을 마이크 입력으로 받아 실시간 전사합니다.
프로그램에서는 `speech worker`가 로드된 모델을 stdin과 stdout을 통해 JSON Lines로 제공하며, C API를 사용하면 애플리케이션에서 라이브러리를 직접 링크할 수 있습니다. Apple silicon을 사용하는 macOS, Windows x64, Linux x86-64용 설치 프로그램이 제공됩니다.
핵심 기능
- 01여러 모델 계열과 이름이 지정된 음성을 지원하는 텍스트 음성 변환.
- 02언어 감지, 타임스탬프, 화자 레이블을 지원하는 음성 인식.
- 03`speech asr --live`를 통한 실시간 마이크 입력 전사.
- 04localhost에서 제공되는 OpenAI 호환 오디오 및 Realtime 전사 엔드포인트.
- 05Python이나 CUDA 없이 Metal, Vulkan 또는 CPU에서 실행.
활용 사례
- OpenAI 오디오 API를 사용하는 앱에 로컬 음성 출력이나 전사 기능 추가.
- 마이크 입력을 실시간으로 전사하는 음성 비서 구축.
- 개인용 컴퓨터에서 일본어 또는 다국어 녹음을 오프라인으로 전사.
- C API 또는 JSON Lines worker를 통해 다른 프로그램에 음성 모델 임베딩.
빠른 시작
- 1
README의 공식 설치 스크립트로 speech를 설치합니다
- 2
Qwen3-TTS로 문장을 합성합니다(모델은 처음 실행할 때 다운로드됩니다)
speech tts qwen3-tts-0.6b --voice ryan -o hello.wav "Hello. It will be sunny in Tokyo tomorrow." - 3
Qwen3-ASR로 WAVE 파일을 전사합니다
speech asr qwen3-asr-0.6b hello.wav - 4
로컬 웹 페이지를 열어 모델을 선택하고 음성을 생성한 뒤 전사합니다
speech serve --open
사용 전 알아둘 점
- 설치 스크립트는 Apple silicon을 탑재한 macOS, x86-64 Linux, Windows x64에서만 사용할 수 있습니다. Intel Mac에서는 소스 코드로 직접 빌드해야 합니다.
- 서버는 127.0.0.1에서 수신 대기하며 인증 기능이 없습니다.
- drama-3(20.8 GB), nemotron-3.5-transcribe(19.0 GB)처럼 용량이 매우 큰 모델도 있습니다.
포함된 컬렉션
토픽
자주 묻는 질문
- speech.cpp은(는) 무엇인가요?
- ggml 기반 C++ 음성 툴킷으로, Metal·Vulkan·CPU에서 텍스트 음성 변환, 음성 인식, 음성 활동 감지를 지원하며 OpenAI 호환 서버를 제공합니다. speech.cpp는 음성 합성, 음성 인식, 음성 활동 감지, 화자 분리를 위한 단일 C API를 제공하는 `speech` 명령과 공유 라이브러리 `libspeech`로 구성됩니다. ggml을 통해 CPU, Metal, Vulkan에서 실행되며, 각 모델은 코덱을 포함한 GGUF 파일 하나로 이름을 지정해 내려받으므로 Python이나 CUDA를 설정할 필요가 없습니다.
- speech.cpp은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
- speech.cpp은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
- speech.cpp은(는) 아직 유지보수되고 있나요?
- 활발히 유지보수 중. speech.cpp의 마지막 커밋은 2026년 11월 1일입니다.
- speech.cpp은(는) 어디에 사용할 수 있나요?
- OpenAI 오디오 API를 사용하는 앱에 로컬 음성 출력이나 전사 기능 추가. 마이크 입력을 실시간으로 전사하는 음성 비서 구축. 개인용 컴퓨터에서 일본어 또는 다국어 녹음을 오프라인으로 전사. C API 또는 JSON Lines worker를 통해 다른 프로그램에 음성 모델 임베딩.
- speech.cpp는 어떻게 설치하나요?
- README의 공식 설치 스크립트로 speech를 설치합니다 Qwen3-TTS로 문장을 합성합니다(모델은 처음 실행할 때 다운로드됩니다): speech tts qwen3-tts-0.6b --voice ryan -o hello.wav "Hello. It will be sunny in Tokyo tomorrow." Qwen3-ASR로 WAVE 파일을 전사합니다: speech asr qwen3-asr-0.6b hello.wav 로컬 웹 페이지를 열어 모델을 선택하고 음성을 생성한 뒤 전사합니다: speech serve --open
- speech.cpp은(는) 어디서 받을 수 있나요?
- 소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/nyosegawa/speech.cpp
요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.
관련 프로젝트
Alibaba Cloud Bailian 음성 모델을 호출해 음성 인식, 음성 합성, 음성 대화를 구현하는 샘플 코드입니다.
음성 복제, 다중 화자 대화, 인라인 큐를 지원하는 Fish Audio Drama 3 TTS용 ComfyUI 노드와 네이티브 Qwen3-ASR 전사 기능을 제공합니다.
오프라인 및 스트리밍 ASR을 위한 오픈소스 음성 인식 툴킷으로, VAD, 문장 부호 복원, 화자 라벨링과 OpenAI 호환 서빙을 지원합니다.
CoreML과 Neural Engine을 활용해 Apple 기기에서 ASR, TTS, VAD, 화자 분리 모델을 로컬로 실행하는 Swift SDK입니다.
VoxCPM2 기반 터키어 음성 디자인 도구로, 4 GB NVIDIA GPU에서 실행되며 로컬 웹 UI와 내장 합성 음성을 제공합니다.