Repolode
nyosegawa

nyosegawa/speech.cpp

Набор инструментов для работы с речью на C++ и ggml: синтез речи, распознавание и обнаружение голосовой активности на Metal, Vulkan или CPU, с сервером, совместимым с OpenAI.

Open source альтернатива:OpenAI Whisper API

Звёзды
358
Форки
22
Открытые issues
12
Последний коммит
5 дней назад

Что это?

speech.cpp предоставляет единую команду `speech` и общую библиотеку `libspeech` с единым C API для синтеза и распознавания речи, обнаружения голосовой активности и диаризации говорящих. Проект работает на CPU, Metal и Vulkan через ggml. Каждая модель загружается по имени одним файлом GGUF, содержащим кодек, поэтому Python и CUDA не нужны.

В каталоге представлены Qwen3-TTS, Irodori-TTS и Drama 3 для синтеза, а также Qwen3-ASR, ReazonSpeech, parakeet, Haas и Nemotron для распознавания; для обнаружения голосовой активности и разделения речи по говорящим доступны Silero VAD и диаризация Nemotron. Команда `speech serve` предоставляет через локальный HTTP API-эндпоинты OpenAI для синтеза речи и транскрибации, а также эндпоинт Realtime transcription. Команда `speech asr --live` транскрибирует речь с микрофона в реальном времени.

Для программ команда `speech worker` обслуживает загруженную модель через JSON Lines по stdin и stdout, а приложение может напрямую подключить библиотеку через C API. Доступны установщики для macOS на Apple silicon, Windows x64 и Linux x86-64.

Ключевые возможности

  • 01Синтез речи с несколькими семействами моделей и именованными голосами.
  • 02Распознавание речи с определением языка, временными метками и метками говорящих.
  • 03Транскрибация речи с микрофона в реальном времени через `speech asr --live`.
  • 04Совместимые с OpenAI эндпоинты для работы с аудио и транскрибации в реальном времени на localhost.
  • 05Работа на Metal, Vulkan или CPU без Python и CUDA.

Сценарии использования

  • Добавление локального синтеза речи или транскрибации в приложение, использующее аудио API OpenAI.
  • Создание голосового помощника, который транскрибирует речь с микрофона в реальном времени.
  • Офлайн-транскрибация записей на японском и других языках на персональном компьютере.
  • Встраивание моделей речи в другую программу через C API или worker с JSON Lines.

Быстрый старт

  1. 1

    Установите speech с помощью официального скрипта установки из README

  2. 2

    Синтезируйте фразу с помощью Qwen3-TTS (при первом запуске модель будет загружена)

    speech tts qwen3-tts-0.6b --voice ryan -o hello.wav "Hello. It will be sunny in Tokyo tomorrow."
  3. 3

    Расшифруйте файл WAVE с помощью Qwen3-ASR

    speech asr qwen3-asr-0.6b hello.wav
  4. 4

    Откройте локальную веб-страницу, чтобы выбрать модели, сгенерировать речь и расшифровать запись

    speech serve --open

Что важно знать

  • Скрипты установки доступны только для macOS на Apple silicon, Linux x86-64 и Windows x64; для Mac с Intel потребуется сборка из исходного кода.
  • Сервер прослушивает 127.0.0.1 и не использует аутентификацию.
  • Некоторые модели очень велики: например, drama-3 занимает 20,8 ГБ, а nemotron-3.5-transcribe — 19,0 ГБ.

В подборках

Темы

Частые вопросы

Что такое speech.cpp?
Набор инструментов для работы с речью на C++ и ggml: синтез речи, распознавание и обнаружение голосовой активности на Metal, Vulkan или CPU, с сервером, совместимым с OpenAI. speech.cpp предоставляет единую команду `speech` и общую библиотеку `libspeech` с единым C API для синтеза и распознавания речи, обнаружения голосовой активности и диаризации говорящих. Проект работает на CPU, Metal и Vulkan через ggml. Каждая модель загружается по имени одним файлом GGUF, содержащим кодек, поэтому Python и CUDA не нужны.
speech.cpp можно использовать бесплатно? Какая у него лицензия?
speech.cpp распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.
speech.cpp всё ещё поддерживается?
Активно поддерживается. Последний коммит в speech.cpp — 1 нояб. 2026 г..
Для чего можно использовать speech.cpp?
Добавление локального синтеза речи или транскрибации в приложение, использующее аудио API OpenAI. Создание голосового помощника, который транскрибирует речь с микрофона в реальном времени. Офлайн-транскрибация записей на японском и других языках на персональном компьютере. Встраивание моделей речи в другую программу через C API или worker с JSON Lines.
Как установить speech.cpp?
Установите speech с помощью официального скрипта установки из README Синтезируйте фразу с помощью Qwen3-TTS (при первом запуске модель будет загружена): speech tts qwen3-tts-0.6b --voice ryan -o hello.wav "Hello. It will be sunny in Tokyo tomorrow." Расшифруйте файл WAVE с помощью Qwen3-ASR: speech asr qwen3-asr-0.6b hello.wav Откройте локальную веб-страницу, чтобы выбрать модели, сгенерировать речь и расшифровать запись: speech serve --open
Где скачать speech.cpp?
Исходный код и инструкции по установке — на GitHub: https://github.com/nyosegawa/speech.cpp

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты

Семейство open-source голосовых AI-моделей Microsoft: распознавание длинной речи (ASR), многоязычная по говорящим генерация речи (TTS) и потоковый TTS в реальном времени.

55,7 тыс.+655 за неделю6,3 тыс.PythonMITОбновлён 29 дней назад

Ноды ComfyUI для синтеза речи Fish Audio Drama 3 с клонированием голоса, диалогами нескольких персонажей и подсказками в тексте, а также встроенной транскрибацией через Qwen3-ASR.

161+10 за неделю21PythonGPL-3.0Обновлён 12 дней назад

Открытый набор инструментов для офлайн-распознавания речи и ASR в потоковом режиме, с VAD, расстановкой знаков препинания, метками говорящих и совместимым с OpenAI сервером.

20,9 тыс.+75 за неделю2,1 тыс.PythonMITОбновлён 22 часа назад

Инструмент для создания турецкой речи на базе VoxCPM2: работает на NVIDIA GPU с 4 ГБ видеопамяти, включает локальный веб-интерфейс и готовые синтетические голоса.

386+43 за неделю48PythonApache-2.0Обновлён 23 часа назад