音声合成、ボイスクローン、Whisper文字起こし、YouTubeダウンロード、音声分離、吹き替え用翻訳を備えたWindows向けGradioアプリ。
michael-chow-arch/StreamLingo
Ollamaを使い、YouTubeライブ配信に英語・中国語の字幕をリアルタイム表示するChrome拡張機能とローカルPythonサービス。
- スター
- 30
- フォーク
- 2
- 未解決の Issue
- 0
- 最終コミット
- 6 日前
これは何?
StreamLingoは、配信者自身の字幕に頼らず、YouTubeライブ配信に翻訳字幕を重ねて表示します。ブラウザーのタブから音声を直接取得し、ローカルの音声認識スタック(WhisperLiveKitとfaster-whisper)で文字起こしした後、すでに起動しているOllamaモデルで確定した区間を翻訳します。元の音声を再生したまま、翻訳文をYouTubeプレーヤー内に表示します。
対応モードは、英語から中国語、中国語から英語、自動で原文の言語を判定して中国語または英語に翻訳するモードです。デフォルト設定では音声とテキストを端末内に保持し、字幕サービスとOllamaのどちらも127.0.0.1で待ち受けます。ホスティング型の翻訳サービスやアカウントは不要ですが、依存関係やモデルのダウンロードにはインターネット接続が必要です。
現在はWindows向けのプレビュー版で、CUDA 12とcuDNN 9を搭載したNVIDIA GPUでテストされています。Chrome 116以降とPython 3.11~3.13が必要です。LinuxとmacOSでは動作検証されていません。拡張機能はビルド済みのフォルダーを手動で読み込んでインストールし、ローカルサービスで同時に実行できるキャプチャセッションは1つだけです。
主な機能
- 01マイクや仮想オーディオケーブルを使わずに、YouTubeのタブから音声を取得します。
- 02英語から中国語、中国語から英語、または原文を自動判定していずれかの言語に翻訳します。
- 03ユーザー自身のローカルOllamaモデルを使用し、デフォルト設定ではデータを端末内に保持します。
- 04話者が話し終えるのを待たず、連続した発話から確定した区間を翻訳します。
- 05原文の表示を切り替えたり、フォントサイズを調整したりできます。
ユースケース
- 英語の製品発表やインタビューのライブ配信を、中国語で視聴する。
- 配信者が字幕を提供していない中国語のライブ配信を、英語字幕付きで視聴する。
- クラウドサービスを利用できない機密性の高いコンテンツを、ローカル環境で翻訳する。
クイックスタート
- 1
Windows 用のプレビュー ZIP をダウンロードして展開します(Node.js は不要です)
- 2
Ollama を起動した状態で Setup-StreamLingo.cmd をダブルクリックします
Setup-StreamLingo.cmd - 3
Ollama を起動したまま Start-StreamLingo.cmd をダブルクリックします
Start-StreamLingo.cmd - 4
chrome://extensions でデベロッパー モードを有効にし、dist/extension をパッケージ化されていない拡張機能として読み込みます
使う前に知っておきたいこと
- Windows でのみテスト済みです。Linux と macOS では検証されていません。
- 音声認識には CUDA 12 と cuDNN 9 を搭載した NVIDIA GPU が必要です。CPU へのフォールバックはありません。
- 初期段階の Windows プレビュー(v0.2.0)です。ローカルの Python コンパニオンと大容量の音声データのダウンロードが必要です。
- 拡張機能は手動でインストールする必要があり、Chrome ウェブストアには掲載されていません。
トピック
よくある質問
- StreamLingo とは?
- Ollamaを使い、YouTubeライブ配信に英語・中国語の字幕をリアルタイム表示するChrome拡張機能とローカルPythonサービス。 StreamLingoは、配信者自身の字幕に頼らず、YouTubeライブ配信に翻訳字幕を重ねて表示します。ブラウザーのタブから音声を直接取得し、ローカルの音声認識スタック(WhisperLiveKitとfaster-whisper)で文字起こしした後、すでに起動しているOllamaモデルで確定した区間を翻訳します。元の音声を再生したまま、翻訳文をYouTubeプレーヤー内に表示します。
- StreamLingo は無料で使えますか?ライセンスは?
- StreamLingo は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
- StreamLingo は今もメンテナンスされていますか?
- 活発にメンテナンス中。StreamLingo の最終コミットは 2026年10月13日 です。
- StreamLingo は何に使えますか?
- 英語の製品発表やインタビューのライブ配信を、中国語で視聴する。 配信者が字幕を提供していない中国語のライブ配信を、英語字幕付きで視聴する。 クラウドサービスを利用できない機密性の高いコンテンツを、ローカル環境で翻訳する。
- StreamLingo のインストール方法は?
- Windows 用のプレビュー ZIP をダウンロードして展開します(Node.js は不要です) Ollama を起動した状態で Setup-StreamLingo.cmd をダブルクリックします: Setup-StreamLingo.cmd Ollama を起動したまま Start-StreamLingo.cmd をダブルクリックします: Start-StreamLingo.cmd chrome://extensions でデベロッパー モードを有効にし、dist/extension をパッケージ化されていない拡張機能として読み込みます
- StreamLingo はどこで入手できますか?
- ソースコードとインストール手順は GitHub にあります:https://github.com/michael-chow-arch/StreamLingo
概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。
関連プロジェクト
OpenAIのWhisperを使い、音声や動画をオフラインで文字起こし・翻訳できるデスクトップアプリ。
ローカルとクラウドのLLM、各種検索エンジンを使って多段階の調査を行う、暗号化ストレージ付きのセルフホスト型AIリサーチアシスタント。
Ollamaを使ってローカルモデルに段階的に推論させ、その過程をRDFグラフとして自分のマシンに保存するナレッジグラフツール。
OpenAI WhisperでYouTube動画やローカルの音声・動画ファイルを文字起こしする、自前環境で動くセルフホスト型Webアプリ。
音声認識、字幕の分割・修正・翻訳、動画への字幕合成に対応した、LLM搭載のデスクトップ/CLIツール。