Repolode
Предложить
QuentinFuxa

QuentinFuxa/WhisperLiveKit

Сервер для локального распознавания речи в реальном времени: потоковый ASR, разделение по говорящим, перевод и API, совместимые с OpenAI и Deepgram.

Open source альтернатива:Otter.aiDeepgram

Открыть на GitHub
Звёзды
11,155
Форки
1,149
Открытые issues
17
Последний коммит
20 дней назад

Что это?

WhisperLiveKit (WLK) — локально развёртываемый конвейер распознавания речи с низкой задержкой. Вместо обработки фиксированных фрагментов аудио с помощью Whisper он использует потоковые стратегии AlignAtt SimulStreaming и LocalAgreement, а также обнаружение голосовой активности, чтобы выдавать предварительный и уточнённый текст, пока человек ещё говорит.

Пакет включает CLI с веб-интерфейсом, доступным через WebSocket по адресу /asr, REST endpoint для транскрибации файлов, совместимый с OpenAI, и WebSocket, совместимый с Deepgram. Он также позволяет транскрибировать файлы напрямую, создавать субтитры SRT и управлять моделями. Среди поддерживаемых бэкендов — Faster-Whisper, MLX Whisper для Apple Silicon, Voxtral, Qwen3-ASR, NVIDIA Canary и FunASR SenseVoiceSmall. Дополнительные компоненты обеспечивают разделение речи по говорящим (Sortformer или Diart) и перевод с помощью NLLB или LLM.

Сервер поддерживает несколько одновременных подключений, а проект — HTTPS, токены API, настройки CORS и развёртывание за Nginx или Gunicorn. Для GPU- и CPU-конфигураций доступны Docker-образы.

Ключевые возможности

  • 01Потоковая транскрибация с выдачей предварительного и уточнённого текста через WebSocket.
  • 02Разделение речи по говорящим с помощью Sortformer или Diart.
  • 03Синхронный перевод с использованием NLLB или бэкендов на базе LLM.
  • 04Endpoint для транскрибации, совместимый с OpenAI, и WebSocket, совместимый с Deepgram.
  • 05Инструменты командной строки для запуска сервера, транскрибации файлов, создания субтитров SRT и управления моделями.
  • 06Несколько бэкендов ASR, включая MLX для Apple Silicon и варианты для GPU NVIDIA.

Сценарии использования

  • Транскрибация встреч в реальном времени с указанием говорящих.
  • Инструменты доступности, помогающие людям с нарушениями слуха следить за разговором.
  • Локальное создание субтитров для подкастов и видео.
  • Транскрибация звонков в службу поддержки с идентификацией говорящих.

Быстрый старт

  1. 1

    Установите пакет из PyPI

    pip install whisperlivekit
  2. 2

    Запустите сервер, откройте http://localhost:8000 и говорите

    wlk --model base --language en
  3. 3

    Или автоматически загрузите модель и запустите сервер одним шагом

    wlk run whisper:tiny

Что важно знать

  • Некоторым дополнительным бэкендам требуется специальное оборудование, например GPU с NVIDIA CUDA или Apple Silicon.
  • Некоторые ресурсоёмкие дополнения несовместимы друг с другом и должны устанавливаться в отдельные окружения.
  • Причинный режим Qwen3-ASR поддерживает только английский язык.

Темы

#speech-to-text#whisper#real-time#speaker-diarization#streaming#translation#websocket#self-hosted#automatic-speech-recognition#fastapi

Частые вопросы

Что такое WhisperLiveKit?
Сервер для локального распознавания речи в реальном времени: потоковый ASR, разделение по говорящим, перевод и API, совместимые с OpenAI и Deepgram. WhisperLiveKit (WLK) — локально развёртываемый конвейер распознавания речи с низкой задержкой. Вместо обработки фиксированных фрагментов аудио с помощью Whisper он использует потоковые стратегии AlignAtt SimulStreaming и LocalAgreement, а также обнаружение голосовой активности, чтобы выдавать предварительный и уточнённый текст, пока человек ещё говорит.
WhisperLiveKit можно использовать бесплатно? Какая у него лицензия?
WhisperLiveKit распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
WhisperLiveKit всё ещё поддерживается?
Активно поддерживается. Последний коммит в WhisperLiveKit — 1 окт. 2026 г..
Для чего можно использовать WhisperLiveKit?
Транскрибация встреч в реальном времени с указанием говорящих. Инструменты доступности, помогающие людям с нарушениями слуха следить за разговором. Локальное создание субтитров для подкастов и видео. Транскрибация звонков в службу поддержки с идентификацией говорящих.
Как установить WhisperLiveKit?
Установите пакет из PyPI: pip install whisperlivekit Запустите сервер, откройте http://localhost:8000 и говорите: wlk --model base --language en Или автоматически загрузите модель и запустите сервер одним шагом: wlk run whisper:tiny
Где скачать WhisperLiveKit?
Исходный код и инструкции по установке — на GitHub: https://github.com/QuentinFuxa/WhisperLiveKit

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты