Repolode
QuentinFuxa

QuentinFuxa/WhisperLiveKit

ストリーミングASR、話者ダイアライゼーション、ライブ翻訳、OpenAI/Deepgram互換APIに対応したセルフホスト型リアルタイム音声認識サーバー。

代替できる製品:Otter.aiDeepgram

スター
11,155
フォーク
1,149
未解決の Issue
17
最終コミット
19 日前

これは何?

WhisperLiveKit(WLK)は、低レイテンシの文字起こし向けに作られたセルフホスト型の音声認識パイプラインです。音声を固定長のバッチに分けてWhisperを実行するのではなく、音声区間検出とともにAlignAtt SimulStreamingやLocalAgreementなどのストリーミング方式を使い、話者が話している最中に暫定テキストと確定テキストを出力します。

このパッケージには、WebSocket経由で /asr にWeb UIを提供するCLI、ファイルの文字起こしに使えるOpenAI互換RESTエンドポイント、Deepgram互換WebSocketが含まれています。ファイルを直接文字起こししたり、SRT字幕を生成したり、モデルを管理したりすることもできます。バックエンドにはFaster-Whisper、Apple Silicon向けのMLX Whisper、Voxtral、Qwen3-ASR、NVIDIA Canary、FunASR SenseVoiceSmallがあり、オプションのコンポーネントとして、話者ダイアライゼーション(SortformerまたはDiart)やNLLBまたはLLMベースの翻訳を追加できます。

サーバーは複数の同時接続を処理でき、HTTPS、APIトークン、CORS設定に対応しています。また、NginxまたはGunicornの背後へのデプロイも可能です。GPU向けとCPU向けのDockerイメージが用意されています。

主な機能

  • 01WebSocket経由で、暫定テキストと確定テキストを出力するストリーミング文字起こし。
  • 02SortformerまたはDiartを使った話者ダイアライゼーション。
  • 03NLLBまたはLLMベースのバックエンドによる同時翻訳。
  • 04OpenAI互換の文字起こしエンドポイントとDeepgram互換WebSocket。
  • 05ライブ配信、ファイルの文字起こし、SRT字幕生成、モデル管理に使えるコマンドラインツール。
  • 06Apple Silicon向けMLXやNVIDIA GPU向けを含む複数のASRバックエンド。

ユースケース

  • 話者ラベル付きのリアルタイム会議文字起こし。
  • 聴覚障害のあるユーザーが会話を追うのを支援するアクセシビリティツール。
  • ポッドキャストや動画の字幕をローカルで生成。
  • 話者を特定しながらカスタマーサポートの通話を文字起こし。

クイックスタート

  1. 1

    PyPIからパッケージをインストールします

    pip install whisperlivekit
  2. 2

    サーバーを起動し、http://localhost:8000 を開いて話しかけます

    wlk --model base --language en
  3. 3

    または、モデルを自動で取得してサーバーを起動することもできます

    wlk run whisper:tiny

使う前に知っておきたいこと

  • 一部のオプションのバックエンドには、NVIDIA CUDA GPUやApple Siliconなど、特定のハードウェアが必要です。
  • 一部の負荷の大きい追加機能は互いに競合するため、別々の環境にインストールする必要があります。
  • 因果型のQwen3-ASRモードは英語のみ対応しています。

トピック

よくある質問

WhisperLiveKit とは?
ストリーミングASR、話者ダイアライゼーション、ライブ翻訳、OpenAI/Deepgram互換APIに対応したセルフホスト型リアルタイム音声認識サーバー。 WhisperLiveKit(WLK)は、低レイテンシの文字起こし向けに作られたセルフホスト型の音声認識パイプラインです。音声を固定長のバッチに分けてWhisperを実行するのではなく、音声区間検出とともにAlignAtt SimulStreamingやLocalAgreementなどのストリーミング方式を使い、話者が話している最中に暫定テキストと確定テキストを出力します。
WhisperLiveKit は無料で使えますか?ライセンスは?
WhisperLiveKit は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
WhisperLiveKit は今もメンテナンスされていますか?
活発にメンテナンス中。WhisperLiveKit の最終コミットは 2026年10月1日 です。
WhisperLiveKit は何に使えますか?
話者ラベル付きのリアルタイム会議文字起こし。 聴覚障害のあるユーザーが会話を追うのを支援するアクセシビリティツール。 ポッドキャストや動画の字幕をローカルで生成。 話者を特定しながらカスタマーサポートの通話を文字起こし。
WhisperLiveKit のインストール方法は?
PyPIからパッケージをインストールします: pip install whisperlivekit サーバーを起動し、http://localhost:8000 を開いて話しかけます: wlk --model base --language en または、モデルを自動で取得してサーバーを起動することもできます: wlk run whisper:tiny
WhisperLiveKit はどこで入手できますか?
ソースコードとインストール手順は GitHub にあります:https://github.com/QuentinFuxa/WhisperLiveKit

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト