Семейство open-source голосовых AI-моделей Microsoft: распознавание длинной речи (ASR), многоязычная по говорящим генерация речи (TTS) и потоковый TTS в реальном времени.
55,7 тыс.+655 за неделю6,3 тыс.PythonMITОбновлён 29 дней назад
PaddlePaddle/PaddleSpeech
Набор инструментов для работы с речью на PaddlePaddle: распознавание речи, синтез речи, верификация говорящего, обнаружение ключевых слов и перевод речи.
- Звёзды
- 12,704
- Форки
- 1,952
- Открытые issues
- 277
- Последний коммит
- 3 месяца назад
Что это?
PaddleSpeech — набор инструментов для работы с речью и аудио на базе фреймворка глубокого обучения PaddlePaddle. В него входят готовые инструменты командной строки и Python API для автоматического распознавания речи, синтеза речи, классификации аудио, верификации говорящего, диаризации, обнаружения ключевых слов, восстановления пунктуации и перевода речи с английского на китайский.
В набор входят предварительно обученные модели и рецепты обучения для разных архитектур, в том числе DeepSpeech2, модели ASR на базе Conformer и Transformer, FastSpeech2, VITS и HiFiGAN для TTS, а также ECAPA-TDNN для задач, связанных с говорящими. Также есть китайский текстовый фронтенд с нормализацией текста и преобразованием графем в фонемы, а серверы ASR и TTS поддерживают как офлайн-режим, так и потоковую обработку. Модели TTS можно экспортировать в ONNX.
Проект охватывает весь процесс — от подготовки данных и обучения до инференса и развёртывания — и включает примеры работы с C++-рантаймом, а также демоверсии для Android и ARM Linux.
Ключевые возможности
- 01Распознавание речи с потоковыми и непотоковыми моделями, а также восстановление пунктуации.
- 02Синтез речи с китайским текстовым фронтендом, несколькими акустическими моделями и вокодерами.
- 03Верификация говорящего, диаризация и классификация аудио.
- 04Обнаружение ключевых слов и перевод речи с английского на китайский.
- 05Инструменты командной строки, Python API и HTTP-серверы с поддержкой потоковой передачи для развёртывания.
Сценарии использования
- Добавление преобразования речи в текст или генерации субтитров в приложения на китайском языке.
- Создание голосов для виртуальных ведущих, аудиокниг и голосовых помощников.
- Запуск верификации говорящего или распознавания по голосовому отпечатку в серверной части приложения.
- Исследование речевых моделей и их дообучение на наборах данных, таких как AISHELL и LibriSpeech.
Что важно знать
- Проект построен на базе фреймворка PaddlePaddle, поэтому для его использования необходимо установить этот фреймворк.
- В предоставленном фрагменте README нет команд для установки.
В подборках
Темы
#speech-recognition#text-to-speech#speaker-verification#asr#tts#audio#deep-learning#paddlepaddle#code-switch#conformer
Частые вопросы
- Что такое PaddleSpeech?
- Набор инструментов для работы с речью на PaddlePaddle: распознавание речи, синтез речи, верификация говорящего, обнаружение ключевых слов и перевод речи. PaddleSpeech — набор инструментов для работы с речью и аудио на базе фреймворка глубокого обучения PaddlePaddle. В него входят готовые инструменты командной строки и Python API для автоматического распознавания речи, синтеза речи, классификации аудио, верификации говорящего, диаризации, обнаружения ключевых слов, восстановления пунктуации и перевода речи с английского на китайский.
- PaddleSpeech можно использовать бесплатно? Какая у него лицензия?
- PaddleSpeech распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
- PaddleSpeech всё ещё поддерживается?
- Обновлялся за последние 6 месяцев. Последний коммит в PaddleSpeech — 12 авг. 2026 г..
- Для чего можно использовать PaddleSpeech?
- Добавление преобразования речи в текст или генерации субтитров в приложения на китайском языке. Создание голосов для виртуальных ведущих, аудиокниг и голосовых помощников. Запуск верификации говорящего или распознавания по голосовому отпечатку в серверной части приложения. Исследование речевых моделей и их дообучение на наборах данных, таких как AISHELL и LibriSpeech.
- Где скачать PaddleSpeech?
- Исходный код и инструкции по установке — на GitHub: https://github.com/PaddlePaddle/PaddleSpeech
Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.
Похожие проекты
Открытый инструментарий NVIDIA для создания, дообучения и развёртывания моделей речевого ИИ: распознавания речи (ASR), синтеза речи (TTS) и речевых LLM.
18,7 тыс.+56 за неделю3,7 тыс.PythonApache-2.0Обновлён 20 часов назад
Примеры вызова речевых моделей Alibaba Cloud Bailian для распознавания и синтеза речи, а также голосового общения.
42958MITОбновлён 4 дня назад
Ноды ComfyUI для синтеза речи Fish Audio Drama 3 с клонированием голоса, диалогами нескольких персонажей и подсказками в тексте, а также встроенной транскрибацией через Qwen3-ASR.
161+10 за неделю21PythonGPL-3.0Обновлён 13 дней назад
Ориентированный на промышленное использование toolkit для end-to-end распознавания речи на PyTorch: CLI, Python API, рецепты обучения и рантаймы для деплоя.
5,3 тыс.+4 за неделю1,2 тыс.PythonApache-2.0Обновлён 11 дней назад
Открытый набор инструментов для офлайн-распознавания речи и ASR в потоковом режиме, с VAD, расстановкой знаков препинания, метками говорящих и совместимым с OpenAI сервером.
20,9 тыс.+75 за неделю2,1 тыс.PythonMITОбновлён 22 часа назад