Repolode
QuentinFuxa

QuentinFuxa/WhisperLiveKit

可自托管的实时语音转文字服务,支持流式识别、说话人分离、同声翻译,并兼容 OpenAI 与 Deepgram API。

可替代:Otter.aiDeepgram

Star
11,155
Fork
1,149
未关闭 Issue
17
最近提交
19天前

这是什么?

WhisperLiveKit(简称 WLK)是一个可自托管的语音转文字流水线,专注于低延迟的实时识别。它不是把 Whisper 直接套在固定长度的音频批次上,而是采用 AlignAtt SimulStreaming、LocalAgreement 等流式策略,配合语音活动检测,在说话人仍在讲话时就输出中间结果和稳定文本。

项目提供命令行工具和内置网页界面,通过 WebSocket 的 /asr 接口进行实时识别;同时兼容 OpenAI 的 REST 转写接口和 Deepgram 的 WebSocket 协议。它也可以直接转写文件、生成 SRT 字幕并管理模型。后端支持 Faster-Whisper、Apple Silicon 上的 MLX Whisper、Voxtral、Qwen3-ASR、NVIDIA Canary 和 FunASR SenseVoiceSmall,可选组件还提供说话人分离(Sortformer 或 Diart)以及基于 NLLB 或大模型的实时翻译。

服务支持多用户并发,可配置 HTTPS、API Token 和 CORS,并可在 Nginx 或 Gunicorn 后部署,同时提供 GPU 与 CPU 的 Docker 镜像。

核心功能

  • 01通过 WebSocket 流式输出中间结果与稳定文本。
  • 02支持使用 Sortformer 或 Diart 进行说话人分离。
  • 03支持基于 NLLB 或大模型的同声翻译。
  • 04兼容 OpenAI 转写接口和 Deepgram WebSocket 协议。
  • 05命令行工具可用于实时服务、文件转写、生成 SRT 字幕和模型管理。
  • 06提供多种 ASR 后端,包括 Apple Silicon 的 MLX 与 NVIDIA GPU 方案。

适用场景

  • 带说话人标注的实时会议记录。
  • 帮助听障用户跟进对话的无障碍工具。
  • 在本地为播客或视频生成字幕。
  • 带说话人识别的客服通话转写。

快速上手

  1. 1

    从 PyPI 安装软件包

    pip install whisperlivekit
  2. 2

    启动服务器,然后打开 http://localhost:8000 开始说话

    wlk --model base --language en
  3. 3

    或者一步自动下载模型并启动服务器

    wlk run whisper:tiny

使用前须知

  • 部分可选后端需要特定硬件,如 NVIDIA CUDA GPU 或 Apple Silicon。
  • 部分较重的可选依赖相互冲突,必须安装在独立的环境中。
  • 因果模式的 Qwen3-ASR 仅支持英语。

标签

常见问题

WhisperLiveKit 是什么?
可自托管的实时语音转文字服务,支持流式识别、说话人分离、同声翻译,并兼容 OpenAI 与 Deepgram API。 WhisperLiveKit(简称 WLK)是一个可自托管的语音转文字流水线,专注于低延迟的实时识别。它不是把 Whisper 直接套在固定长度的音频批次上,而是采用 AlignAtt SimulStreaming、LocalAgreement 等流式策略,配合语音活动检测,在说话人仍在讲话时就输出中间结果和稳定文本。
WhisperLiveKit 可以免费使用吗?用的什么许可证?
WhisperLiveKit 以 Apache-2.0 许可证开源。用于商业产品前,请先确认许可证条款。
WhisperLiveKit 还在维护吗?
活跃维护中。WhisperLiveKit 最近一次提交是在 2026年10月1日。
WhisperLiveKit 适合用来做什么?
带说话人标注的实时会议记录。 帮助听障用户跟进对话的无障碍工具。 在本地为播客或视频生成字幕。 带说话人识别的客服通话转写。
WhisperLiveKit 怎么安装和运行?
从 PyPI 安装软件包: pip install whisperlivekit 启动服务器,然后打开 http://localhost:8000 开始说话: wlk --model base --language en 或者一步自动下载模型并启动服务器: wlk run whisper:tiny
在哪里获取 WhisperLiveKit?
源代码和安装说明在 GitHub 上:https://github.com/QuentinFuxa/WhisperLiveKit

概要由 AI 根据项目 README 生成;GitHub 数据每日更新。

相关项目