Семейство open-source голосовых AI-моделей Microsoft: распознавание длинной речи (ASR), многоязычная по говорящим генерация речи (TTS) и потоковый TTS в реальном времени.
nyosegawa/speech.cpp
Набор инструментов для работы с речью на C++ и ggml: синтез речи, распознавание и обнаружение голосовой активности на Metal, Vulkan или CPU, с сервером, совместимым с OpenAI.
Open source альтернатива:OpenAI Whisper API
- Звёзды
- 358
- Форки
- 22
- Открытые issues
- 12
- Последний коммит
- 5 дней назад
Что это?
speech.cpp предоставляет единую команду `speech` и общую библиотеку `libspeech` с единым C API для синтеза и распознавания речи, обнаружения голосовой активности и диаризации говорящих. Проект работает на CPU, Metal и Vulkan через ggml. Каждая модель загружается по имени одним файлом GGUF, содержащим кодек, поэтому Python и CUDA не нужны.
В каталоге представлены Qwen3-TTS, Irodori-TTS и Drama 3 для синтеза, а также Qwen3-ASR, ReazonSpeech, parakeet, Haas и Nemotron для распознавания; для обнаружения голосовой активности и разделения речи по говорящим доступны Silero VAD и диаризация Nemotron. Команда `speech serve` предоставляет через локальный HTTP API-эндпоинты OpenAI для синтеза речи и транскрибации, а также эндпоинт Realtime transcription. Команда `speech asr --live` транскрибирует речь с микрофона в реальном времени.
Для программ команда `speech worker` обслуживает загруженную модель через JSON Lines по stdin и stdout, а приложение может напрямую подключить библиотеку через C API. Доступны установщики для macOS на Apple silicon, Windows x64 и Linux x86-64.
Ключевые возможности
- 01Синтез речи с несколькими семействами моделей и именованными голосами.
- 02Распознавание речи с определением языка, временными метками и метками говорящих.
- 03Транскрибация речи с микрофона в реальном времени через `speech asr --live`.
- 04Совместимые с OpenAI эндпоинты для работы с аудио и транскрибации в реальном времени на localhost.
- 05Работа на Metal, Vulkan или CPU без Python и CUDA.
Сценарии использования
- Добавление локального синтеза речи или транскрибации в приложение, использующее аудио API OpenAI.
- Создание голосового помощника, который транскрибирует речь с микрофона в реальном времени.
- Офлайн-транскрибация записей на японском и других языках на персональном компьютере.
- Встраивание моделей речи в другую программу через C API или worker с JSON Lines.
Быстрый старт
- 1
Установите speech с помощью официального скрипта установки из README
- 2
Синтезируйте фразу с помощью Qwen3-TTS (при первом запуске модель будет загружена)
speech tts qwen3-tts-0.6b --voice ryan -o hello.wav "Hello. It will be sunny in Tokyo tomorrow." - 3
Расшифруйте файл WAVE с помощью Qwen3-ASR
speech asr qwen3-asr-0.6b hello.wav - 4
Откройте локальную веб-страницу, чтобы выбрать модели, сгенерировать речь и расшифровать запись
speech serve --open
Что важно знать
- Скрипты установки доступны только для macOS на Apple silicon, Linux x86-64 и Windows x64; для Mac с Intel потребуется сборка из исходного кода.
- Сервер прослушивает 127.0.0.1 и не использует аутентификацию.
- Некоторые модели очень велики: например, drama-3 занимает 20,8 ГБ, а nemotron-3.5-transcribe — 19,0 ГБ.
В подборках
Темы
Частые вопросы
- Что такое speech.cpp?
- Набор инструментов для работы с речью на C++ и ggml: синтез речи, распознавание и обнаружение голосовой активности на Metal, Vulkan или CPU, с сервером, совместимым с OpenAI. speech.cpp предоставляет единую команду `speech` и общую библиотеку `libspeech` с единым C API для синтеза и распознавания речи, обнаружения голосовой активности и диаризации говорящих. Проект работает на CPU, Metal и Vulkan через ggml. Каждая модель загружается по имени одним файлом GGUF, содержащим кодек, поэтому Python и CUDA не нужны.
- speech.cpp можно использовать бесплатно? Какая у него лицензия?
- speech.cpp распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.
- speech.cpp всё ещё поддерживается?
- Активно поддерживается. Последний коммит в speech.cpp — 1 нояб. 2026 г..
- Для чего можно использовать speech.cpp?
- Добавление локального синтеза речи или транскрибации в приложение, использующее аудио API OpenAI. Создание голосового помощника, который транскрибирует речь с микрофона в реальном времени. Офлайн-транскрибация записей на японском и других языках на персональном компьютере. Встраивание моделей речи в другую программу через C API или worker с JSON Lines.
- Как установить speech.cpp?
- Установите speech с помощью официального скрипта установки из README Синтезируйте фразу с помощью Qwen3-TTS (при первом запуске модель будет загружена): speech tts qwen3-tts-0.6b --voice ryan -o hello.wav "Hello. It will be sunny in Tokyo tomorrow." Расшифруйте файл WAVE с помощью Qwen3-ASR: speech asr qwen3-asr-0.6b hello.wav Откройте локальную веб-страницу, чтобы выбрать модели, сгенерировать речь и расшифровать запись: speech serve --open
- Где скачать speech.cpp?
- Исходный код и инструкции по установке — на GitHub: https://github.com/nyosegawa/speech.cpp
Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.
Похожие проекты
Примеры вызова речевых моделей Alibaba Cloud Bailian для распознавания и синтеза речи, а также голосового общения.
Ноды ComfyUI для синтеза речи Fish Audio Drama 3 с клонированием голоса, диалогами нескольких персонажей и подсказками в тексте, а также встроенной транскрибацией через Qwen3-ASR.
Открытый набор инструментов для офлайн-распознавания речи и ASR в потоковом режиме, с VAD, расстановкой знаков препинания, метками говорящих и совместимым с OpenAI сервером.
Swift SDK для локального запуска моделей распознавания и синтеза речи, VAD и диаризации на устройствах Apple через CoreML и Neural Engine.
Инструмент для создания турецкой речи на базе VoxCPM2: работает на NVIDIA GPU с 4 ГБ видеопамяти, включает локальный веб-интерфейс и готовые синтетические голоса.