Открытый набор инструментов для офлайн-распознавания речи и ASR в потоковом режиме, с VAD, расстановкой знаков препинания, метками говорящих и совместимым с OpenAI сервером.
k2-fsa/sherpa
Фреймворк на базе PyTorch для инференса распознавания речи с API на C++ и Python, предназначенный для запуска предварительно обученных сквозных ASR-моделей transducer и CTC.
- Звёзды
- 1,011
- Форки
- 152
- Открытые issues
- 110
- Последний коммит
- 16 часов назад
Что это?
sherpa — фреймворк для инференса распознавания речи на базе PyTorch. Он предназначен только для сквозных моделей — архитектур transducer и CTC — и ориентирован на развертывание: запуск предварительно обученных моделей для расшифровки речи, а не их обучение.
Проект предоставляет API на C++ и Python. Он входит в экосистему следующего поколения Kaldi, а обучение и дообучение выполняются в отдельном проекте icefall. В комплект входит сервер на базе WebSocket для распознавания речи по сети.
Для развертываний без зависимости от PyTorch те же авторы поддерживают sherpa-onnx и sherpa-ncnn; они также предназначены для iOS, Android и встраиваемых систем.
Ключевые возможности
- 01Поддерживает сквозные модели распознавания речи на базе transducer и CTC.
- 02Предоставляет API на C++ и Python.
- 03Включает WebSocket-сервер для расшифровки речи по сети.
- 04Построен на базе PyTorch и позволяет запускать предварительно обученные модели.
Сценарии использования
- Развертывание предварительно обученной модели распознавания речи в виде потокового сервиса через WebSocket.
- Добавление офлайн- или онлайн-преобразования речи в текст в приложение на Python или C++.
- Сравнение варианта развертывания на базе PyTorch с версиями ONNX или ncnn из той же линейки проектов.
Быстрый старт
- 1
Инструкции по установке и использованию см. в документации
- 2
Или попробуйте в браузере, ничего не устанавливая
Что важно знать
- Поддерживаются только end-to-end-модели transducer и CTC, а не другие типы моделей.
- Проект предназначен только для deployment и inference; для обучения или fine-tuning нужен отдельный проект icefall.
Темы
Частые вопросы
- Что такое sherpa?
- Фреймворк на базе PyTorch для инференса распознавания речи с API на C++ и Python, предназначенный для запуска предварительно обученных сквозных ASR-моделей transducer и CTC. sherpa — фреймворк для инференса распознавания речи на базе PyTorch. Он предназначен только для сквозных моделей — архитектур transducer и CTC — и ориентирован на развертывание: запуск предварительно обученных моделей для расшифровки речи, а не их обучение.
- sherpa можно использовать бесплатно? Какая у него лицензия?
- sherpa распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
- sherpa всё ещё поддерживается?
- Активно поддерживается. Последний коммит в sherpa — 20 окт. 2026 г..
- Для чего можно использовать sherpa?
- Развертывание предварительно обученной модели распознавания речи в виде потокового сервиса через WebSocket. Добавление офлайн- или онлайн-преобразования речи в текст в приложение на Python или C++. Сравнение варианта развертывания на базе PyTorch с версиями ONNX или ncnn из той же линейки проектов.
- Как установить sherpa?
- Инструкции по установке и использованию см. в документации Или попробуйте в браузере, ничего не устанавливая
- Где скачать sherpa?
- Исходный код и инструкции по установке — на GitHub: https://github.com/k2-fsa/sherpa
Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.
Похожие проекты
Универсальная модель распознавания речи: расшифровывает аудио, переводит его и определяет язык на многих языках.
Семейство open-source голосовых AI-моделей Microsoft: распознавание длинной речи (ASR), многоязычная по говорящим генерация речи (TTS) и потоковый TTS в реальном времени.
Открытый инструментарий NVIDIA для создания, дообучения и развёртывания моделей речевого ИИ: распознавания речи (ASR), синтеза речи (TTS) и речевых LLM.
Open source-платформа для полного цикла разработки и развёртывания моделей машинного обучения с API для Python и C++.
Фреймворк с определениями современных моделей машинного обучения для текста, изображений, аудио и мультимодальных задач — для обучения и инференса.