Repolode
nyosegawa

nyosegawa/speech.cpp

ggml 기반 C++ 음성 툴킷으로, Metal·Vulkan·CPU에서 텍스트 음성 변환, 음성 인식, 음성 활동 감지를 지원하며 OpenAI 호환 서버를 제공합니다.

대체할 수 있는 제품:OpenAI Whisper API

스타
368
포크
23
열린 이슈
12
마지막 커밋
6일 전

어떤 프로젝트인가요?

speech.cpp는 음성 합성, 음성 인식, 음성 활동 감지, 화자 분리를 위한 단일 C API를 제공하는 `speech` 명령과 공유 라이브러리 `libspeech`로 구성됩니다. ggml을 통해 CPU, Metal, Vulkan에서 실행되며, 각 모델은 코덱을 포함한 GGUF 파일 하나로 이름을 지정해 내려받으므로 Python이나 CUDA를 설정할 필요가 없습니다.

모델 카탈로그에는 합성용 Qwen3-TTS, Irodori-TTS, Drama 3과 인식용 Qwen3-ASR, ReazonSpeech, parakeet, Haas, Nemotron이 포함되며, 감지 및 화자 분리에는 Silero VAD와 Nemotron diarization을 사용할 수 있습니다. `speech serve` 명령은 로컬 HTTP에서 OpenAI의 오디오 음성 및 전사 엔드포인트와 Realtime 전사 기능을 제공하며, `speech asr --live`는 말하는 내용을 마이크 입력으로 받아 실시간 전사합니다.

프로그램에서는 `speech worker`가 로드된 모델을 stdin과 stdout을 통해 JSON Lines로 제공하며, C API를 사용하면 애플리케이션에서 라이브러리를 직접 링크할 수 있습니다. Apple silicon을 사용하는 macOS, Windows x64, Linux x86-64용 설치 프로그램이 제공됩니다.

핵심 기능

  • 01여러 모델 계열과 이름이 지정된 음성을 지원하는 텍스트 음성 변환.
  • 02언어 감지, 타임스탬프, 화자 레이블을 지원하는 음성 인식.
  • 03`speech asr --live`를 통한 실시간 마이크 입력 전사.
  • 04localhost에서 제공되는 OpenAI 호환 오디오 및 Realtime 전사 엔드포인트.
  • 05Python이나 CUDA 없이 Metal, Vulkan 또는 CPU에서 실행.

활용 사례

  • OpenAI 오디오 API를 사용하는 앱에 로컬 음성 출력이나 전사 기능 추가.
  • 마이크 입력을 실시간으로 전사하는 음성 비서 구축.
  • 개인용 컴퓨터에서 일본어 또는 다국어 녹음을 오프라인으로 전사.
  • C API 또는 JSON Lines worker를 통해 다른 프로그램에 음성 모델 임베딩.

빠른 시작

  1. 1

    README의 공식 설치 스크립트로 speech를 설치합니다

  2. 2

    Qwen3-TTS로 문장을 합성합니다(모델은 처음 실행할 때 다운로드됩니다)

    speech tts qwen3-tts-0.6b --voice ryan -o hello.wav "Hello. It will be sunny in Tokyo tomorrow."
  3. 3

    Qwen3-ASR로 WAVE 파일을 전사합니다

    speech asr qwen3-asr-0.6b hello.wav
  4. 4

    로컬 웹 페이지를 열어 모델을 선택하고 음성을 생성한 뒤 전사합니다

    speech serve --open

사용 전 알아둘 점

  • 설치 스크립트는 Apple silicon을 탑재한 macOS, x86-64 Linux, Windows x64에서만 사용할 수 있습니다. Intel Mac에서는 소스 코드로 직접 빌드해야 합니다.
  • 서버는 127.0.0.1에서 수신 대기하며 인증 기능이 없습니다.
  • drama-3(20.8 GB), nemotron-3.5-transcribe(19.0 GB)처럼 용량이 매우 큰 모델도 있습니다.

포함된 컬렉션

토픽

자주 묻는 질문

speech.cpp은(는) 무엇인가요?
ggml 기반 C++ 음성 툴킷으로, Metal·Vulkan·CPU에서 텍스트 음성 변환, 음성 인식, 음성 활동 감지를 지원하며 OpenAI 호환 서버를 제공합니다. speech.cpp는 음성 합성, 음성 인식, 음성 활동 감지, 화자 분리를 위한 단일 C API를 제공하는 `speech` 명령과 공유 라이브러리 `libspeech`로 구성됩니다. ggml을 통해 CPU, Metal, Vulkan에서 실행되며, 각 모델은 코덱을 포함한 GGUF 파일 하나로 이름을 지정해 내려받으므로 Python이나 CUDA를 설정할 필요가 없습니다.
speech.cpp은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
speech.cpp은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
speech.cpp은(는) 아직 유지보수되고 있나요?
활발히 유지보수 중. speech.cpp의 마지막 커밋은 2026년 11월 1일입니다.
speech.cpp은(는) 어디에 사용할 수 있나요?
OpenAI 오디오 API를 사용하는 앱에 로컬 음성 출력이나 전사 기능 추가. 마이크 입력을 실시간으로 전사하는 음성 비서 구축. 개인용 컴퓨터에서 일본어 또는 다국어 녹음을 오프라인으로 전사. C API 또는 JSON Lines worker를 통해 다른 프로그램에 음성 모델 임베딩.
speech.cpp는 어떻게 설치하나요?
README의 공식 설치 스크립트로 speech를 설치합니다 Qwen3-TTS로 문장을 합성합니다(모델은 처음 실행할 때 다운로드됩니다): speech tts qwen3-tts-0.6b --voice ryan -o hello.wav "Hello. It will be sunny in Tokyo tomorrow." Qwen3-ASR로 WAVE 파일을 전사합니다: speech asr qwen3-asr-0.6b hello.wav 로컬 웹 페이지를 열어 모델을 선택하고 음성을 생성한 뒤 전사합니다: speech serve --open
speech.cpp은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/nyosegawa/speech.cpp

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트