Whisperを基盤とするオープンソースの音声認識ツール。強制アライメントによる単語単位のタイムスタンプと、任意の話者ダイアライゼーションに対応します。
- スター
- 11,155
- フォーク
- 1,149
- 未解決の Issue
- 17
- 最終コミット
- 19 日前
これは何?
WhisperLiveKit(WLK)は、低レイテンシの文字起こし向けに作られたセルフホスト型の音声認識パイプラインです。音声を固定長のバッチに分けてWhisperを実行するのではなく、音声区間検出とともにAlignAtt SimulStreamingやLocalAgreementなどのストリーミング方式を使い、話者が話している最中に暫定テキストと確定テキストを出力します。
このパッケージには、WebSocket経由で /asr にWeb UIを提供するCLI、ファイルの文字起こしに使えるOpenAI互換RESTエンドポイント、Deepgram互換WebSocketが含まれています。ファイルを直接文字起こししたり、SRT字幕を生成したり、モデルを管理したりすることもできます。バックエンドにはFaster-Whisper、Apple Silicon向けのMLX Whisper、Voxtral、Qwen3-ASR、NVIDIA Canary、FunASR SenseVoiceSmallがあり、オプションのコンポーネントとして、話者ダイアライゼーション(SortformerまたはDiart)やNLLBまたはLLMベースの翻訳を追加できます。
サーバーは複数の同時接続を処理でき、HTTPS、APIトークン、CORS設定に対応しています。また、NginxまたはGunicornの背後へのデプロイも可能です。GPU向けとCPU向けのDockerイメージが用意されています。
主な機能
- 01WebSocket経由で、暫定テキストと確定テキストを出力するストリーミング文字起こし。
- 02SortformerまたはDiartを使った話者ダイアライゼーション。
- 03NLLBまたはLLMベースのバックエンドによる同時翻訳。
- 04OpenAI互換の文字起こしエンドポイントとDeepgram互換WebSocket。
- 05ライブ配信、ファイルの文字起こし、SRT字幕生成、モデル管理に使えるコマンドラインツール。
- 06Apple Silicon向けMLXやNVIDIA GPU向けを含む複数のASRバックエンド。
ユースケース
- 話者ラベル付きのリアルタイム会議文字起こし。
- 聴覚障害のあるユーザーが会話を追うのを支援するアクセシビリティツール。
- ポッドキャストや動画の字幕をローカルで生成。
- 話者を特定しながらカスタマーサポートの通話を文字起こし。
クイックスタート
- 1
PyPIからパッケージをインストールします
pip install whisperlivekit - 2
サーバーを起動し、http://localhost:8000 を開いて話しかけます
wlk --model base --language en - 3
または、モデルを自動で取得してサーバーを起動することもできます
wlk run whisper:tiny
使う前に知っておきたいこと
- 一部のオプションのバックエンドには、NVIDIA CUDA GPUやApple Siliconなど、特定のハードウェアが必要です。
- 一部の負荷の大きい追加機能は互いに競合するため、別々の環境にインストールする必要があります。
- 因果型のQwen3-ASRモードは英語のみ対応しています。
トピック
よくある質問
- WhisperLiveKit とは?
- ストリーミングASR、話者ダイアライゼーション、ライブ翻訳、OpenAI/Deepgram互換APIに対応したセルフホスト型リアルタイム音声認識サーバー。 WhisperLiveKit(WLK)は、低レイテンシの文字起こし向けに作られたセルフホスト型の音声認識パイプラインです。音声を固定長のバッチに分けてWhisperを実行するのではなく、音声区間検出とともにAlignAtt SimulStreamingやLocalAgreementなどのストリーミング方式を使い、話者が話している最中に暫定テキストと確定テキストを出力します。
- WhisperLiveKit は無料で使えますか?ライセンスは?
- WhisperLiveKit は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
- WhisperLiveKit は今もメンテナンスされていますか?
- 活発にメンテナンス中。WhisperLiveKit の最終コミットは 2026年10月1日 です。
- WhisperLiveKit は何に使えますか?
- 話者ラベル付きのリアルタイム会議文字起こし。 聴覚障害のあるユーザーが会話を追うのを支援するアクセシビリティツール。 ポッドキャストや動画の字幕をローカルで生成。 話者を特定しながらカスタマーサポートの通話を文字起こし。
- WhisperLiveKit のインストール方法は?
- PyPIからパッケージをインストールします: pip install whisperlivekit サーバーを起動し、http://localhost:8000 を開いて話しかけます: wlk --model base --language en または、モデルを自動で取得してサーバーを起動することもできます: wlk run whisper:tiny
- WhisperLiveKit はどこで入手できますか?
- ソースコードとインストール手順は GitHub にあります:https://github.com/QuentinFuxa/WhisperLiveKit
概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。
関連プロジェクト
OpenAIのWhisperを使い、音声や動画をオフラインで文字起こし・翻訳できるデスクトップアプリ。
Whisperモデルをローカルで実行し、音声をリアルタイムで文字起こしして字幕に変換・翻訳するOBS Studioプラグイン。
OpenAI WhisperでYouTube動画やローカルの音声・動画ファイルを文字起こしする、自前環境で動くセルフホスト型Webアプリ。
金融、交通、気象、ニュース、サイバーセキュリティなど、リアルタイムで配信・更新される有料・公開データソースの厳選リスト。
リアルタイム音声エージェントやアプリ向けの、音声認識・意図認識・音声合成に対応したオープンソースのオンデバイスツールキット。