基于 Whisper 的开源语音转文字工具,支持词级时间戳和说话人分离。
- Star
- 11,155
- Fork
- 1,149
- 未关闭 Issue
- 17
- 最近提交
- 19天前
这是什么?
WhisperLiveKit(简称 WLK)是一个可自托管的语音转文字流水线,专注于低延迟的实时识别。它不是把 Whisper 直接套在固定长度的音频批次上,而是采用 AlignAtt SimulStreaming、LocalAgreement 等流式策略,配合语音活动检测,在说话人仍在讲话时就输出中间结果和稳定文本。
项目提供命令行工具和内置网页界面,通过 WebSocket 的 /asr 接口进行实时识别;同时兼容 OpenAI 的 REST 转写接口和 Deepgram 的 WebSocket 协议。它也可以直接转写文件、生成 SRT 字幕并管理模型。后端支持 Faster-Whisper、Apple Silicon 上的 MLX Whisper、Voxtral、Qwen3-ASR、NVIDIA Canary 和 FunASR SenseVoiceSmall,可选组件还提供说话人分离(Sortformer 或 Diart)以及基于 NLLB 或大模型的实时翻译。
服务支持多用户并发,可配置 HTTPS、API Token 和 CORS,并可在 Nginx 或 Gunicorn 后部署,同时提供 GPU 与 CPU 的 Docker 镜像。
核心功能
- 01通过 WebSocket 流式输出中间结果与稳定文本。
- 02支持使用 Sortformer 或 Diart 进行说话人分离。
- 03支持基于 NLLB 或大模型的同声翻译。
- 04兼容 OpenAI 转写接口和 Deepgram WebSocket 协议。
- 05命令行工具可用于实时服务、文件转写、生成 SRT 字幕和模型管理。
- 06提供多种 ASR 后端,包括 Apple Silicon 的 MLX 与 NVIDIA GPU 方案。
适用场景
- 带说话人标注的实时会议记录。
- 帮助听障用户跟进对话的无障碍工具。
- 在本地为播客或视频生成字幕。
- 带说话人识别的客服通话转写。
快速上手
- 1
从 PyPI 安装软件包
pip install whisperlivekit - 2
启动服务器,然后打开 http://localhost:8000 开始说话
wlk --model base --language en - 3
或者一步自动下载模型并启动服务器
wlk run whisper:tiny
使用前须知
- 部分可选后端需要特定硬件,如 NVIDIA CUDA GPU 或 Apple Silicon。
- 部分较重的可选依赖相互冲突,必须安装在独立的环境中。
- 因果模式的 Qwen3-ASR 仅支持英语。
标签
常见问题
- WhisperLiveKit 是什么?
- 可自托管的实时语音转文字服务,支持流式识别、说话人分离、同声翻译,并兼容 OpenAI 与 Deepgram API。 WhisperLiveKit(简称 WLK)是一个可自托管的语音转文字流水线,专注于低延迟的实时识别。它不是把 Whisper 直接套在固定长度的音频批次上,而是采用 AlignAtt SimulStreaming、LocalAgreement 等流式策略,配合语音活动检测,在说话人仍在讲话时就输出中间结果和稳定文本。
- WhisperLiveKit 可以免费使用吗?用的什么许可证?
- WhisperLiveKit 以 Apache-2.0 许可证开源。用于商业产品前,请先确认许可证条款。
- WhisperLiveKit 还在维护吗?
- 活跃维护中。WhisperLiveKit 最近一次提交是在 2026年10月1日。
- WhisperLiveKit 适合用来做什么?
- 带说话人标注的实时会议记录。 帮助听障用户跟进对话的无障碍工具。 在本地为播客或视频生成字幕。 带说话人识别的客服通话转写。
- WhisperLiveKit 怎么安装和运行?
- 从 PyPI 安装软件包: pip install whisperlivekit 启动服务器,然后打开 http://localhost:8000 开始说话: wlk --model base --language en 或者一步自动下载模型并启动服务器: wlk run whisper:tiny
- 在哪里获取 WhisperLiveKit?
- 源代码和安装说明在 GitHub 上:https://github.com/QuentinFuxa/WhisperLiveKit
概要由 AI 根据项目 README 生成;GitHub 数据每日更新。
相关项目
基于 OpenAI Whisper 的桌面应用,可在本机离线转录和翻译音视频。
一款 OBS Studio 插件,在本机运行 Whisper 模型,实时将语音转为字幕并翻译。
基于 Whisper 的自托管网页应用,可在本机转录 YouTube 视频和本地音视频文件。
一份整理了公开与付费实时数据源的清单,涵盖金融、交通、天气、新闻与网络安全等领域。
本地优先的开源 AI 语音工作室,支持克隆声音、生成语音、语音听写和为 AI 智能体提供语音输出。