Набор инструментов для работы с речью на PaddlePaddle: распознавание речи, синтез речи, верификация говорящего, обнаружение ключевых слов и перевод речи.
wenet-e2e/wenet
Ориентированный на промышленное использование toolkit для end-to-end распознавания речи на PyTorch: CLI, Python API, рецепты обучения и рантаймы для деплоя.
- Звёзды
- 5,256
- Форки
- 1,193
- Открытые issues
- 22
- Последний коммит
- 12 дней назад
Что это?
WeNet — toolkit для end-to-end распознавания речи, созданный с прицелом на промышленное использование. Он охватывает весь процесс: от установки pretrained-модели и транскрибации аудио с помощью команды `wenet` или Python API до обучения новых моделей и их деплоя через рантаймы.
В пакете есть pretrained-модели для китайского языка (например, paraformer, firered и wenetspeech) и английского (whisper-large-v3 и whisper-large-v3-turbo). По умолчанию модели работают на CPU; чтобы использовать GPU, нужно явно указать устройство. Проект также включает сборки рантаймов для x86 и описывает поддержку конфигураций с Ascend NPU.
Обучение и деплой выполняются из репозитория, для которого нужны клонирование, conda-окружение с PyTorch и torchaudio, а также, опционально, установка CUDA или CANN. Интеграция языковой модели использует декодирование на основе WFST, которое проект собирает через свой рантайм.
Ключевые возможности
- 01Транскрибация из командной строки с pretrained-моделями для китайского и английского языков.
- 02Python API для загрузки модели и транскрибации аудио в несколько строк кода.
- 03Pretrained-модели, включая paraformer, firered, wenetspeech и варианты Whisper large-v3.
- 04Сборки рантаймов для x86 и других платформ для деплоя.
- 05Поддержка Ascend NPU через torch-npu.
Сценарии использования
- Транскрибация аудиофайлов на китайском или английском из командной строки либо Python-скрипта.
- Обучение собственных end-to-end-моделей распознавания речи на PyTorch.
- Деплой сервисов потокового или непотокового распознавания с помощью предоставленных рантаймов.
- Эксперименты с интеграцией языковых моделей через WFST-декодирование.
Быстрый старт
- 1
Установите пакет Python с GitHub
pip install git+https://github.com/wenet-e2e/wenet.git - 2
Расшифруйте аудиофайл из командной строки
wenet -m paraformer audio.wav - 3
Или используйте Python API для расшифровки аудио
python -c "import wenet; model = wenet.load_model('paraformer'); print(model.transcribe('audio.wav').text)"
Что важно знать
- По умолчанию инструмент командной строки работает на CPU. Чтобы использовать GPU, передайте параметр --device cuda.
- При установке torch через pip может быть выбрана сборка, несовместимая с драйвером GPU, поэтому для работы с GPU может потребоваться переустановка вручную.
- Для настройки обучения и развёртывания требуются Conda, CUDA и несколько дополнительных зависимостей, например sox.
В подборках
Темы
Частые вопросы
- Что такое wenet?
- Ориентированный на промышленное использование toolkit для end-to-end распознавания речи на PyTorch: CLI, Python API, рецепты обучения и рантаймы для деплоя. WeNet — toolkit для end-to-end распознавания речи, созданный с прицелом на промышленное использование. Он охватывает весь процесс: от установки pretrained-модели и транскрибации аудио с помощью команды `wenet` или Python API до обучения новых моделей и их деплоя через рантаймы.
- wenet можно использовать бесплатно? Какая у него лицензия?
- wenet распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
- wenet всё ещё поддерживается?
- Активно поддерживается. Последний коммит в wenet — 26 окт. 2026 г..
- Для чего можно использовать wenet?
- Транскрибация аудиофайлов на китайском или английском из командной строки либо Python-скрипта. Обучение собственных end-to-end-моделей распознавания речи на PyTorch. Деплой сервисов потокового или непотокового распознавания с помощью предоставленных рантаймов. Эксперименты с интеграцией языковых моделей через WFST-декодирование.
- Как установить wenet?
- Установите пакет Python с GitHub: pip install git+https://github.com/wenet-e2e/wenet.git Расшифруйте аудиофайл из командной строки: wenet -m paraformer audio.wav Или используйте Python API для расшифровки аудио: python -c "import wenet; model = wenet.load_model('paraformer'); print(model.transcribe('audio.wav').text)"
- Где скачать wenet?
- Исходный код и инструкции по установке — на GitHub: https://github.com/wenet-e2e/wenet
Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.
Похожие проекты
Инструментарий на базе PyTorch для сквозной обработки речи: распознавания, синтеза и перевода речи, улучшения качества аудио и других задач.
Распознавание речи с открытым исходным кодом на базе Whisper: точные временные метки для каждого слова и опциональная диаризация говорящих.
Порт Whisper от OpenAI на C++ для Windows: распознаёт речь на любой GPU с Direct3D 11 через DirectCompute.
Видеоплеер для Windows для изучения языков: двойные субтитры, локальная генерация субтитров с помощью ИИ, перевод в реальном времени и поиск слов.
Приложение для Linux и Sailfish OS: заметки, чтение и перевод с офлайн-распознаванием и синтезом речи, а также машинным переводом.