Repolode
amywork777

amywork777/lipflow

キーを押しながらWebカメラに向かって声を出さずに口を動かすと、認識したテキストをカーソル位置に入力します。すべてローカルで動作します。

代替できる製品:Wispr Flow

スター
633
フォーク
73
未解決の Issue
11
最終コミット
13 日前

これは何?

Lipflowは、読唇によるディクテーションツールです。キーを押し、声を出さずに入力したい言葉を口にしてから、キーを離します。認識されたテキストは、デフォルトモードではマイクを使わずWebカメラだけで、アクティブなアプリのカーソル位置に貼り付けられます。

読唇機能には、映像のみを使う音声認識モデルAuto-AVSRを採用し、MediaPipeの顔ランドマークを使って各フレームから口元の領域を切り出します。オプションのLLMによる補正では、Claude、Codex CLI、Ollama、デバイス上で動作するMLXモデル、またはオフラインのルールを使って、誤認識と思われる箇所を修正できます。セットアップ時にWispr Flowのディクテーション履歴をローカルに取り込み、Apple Silicon上で自分の顔や言い回しに合わせてモデルをファインチューニングすることもできます。

主なビルド対象はApple Silicon搭載のmacOSですが、WindowsとLinuxにも対応すると説明されています。オプションのwhisperモードではマイクを使い、認識精度を高められます。

主な機能

  • 01デフォルトではマイク不要。Webカメラだけで声を出さずに読唇入力できます。
  • 02認識したテキストを、どのアプリでもカーソル位置に貼り付けます。
  • 03ローカルで動作し、LLMによる補正にはデバイス上のMLXモデルも使用できます。
  • 04Claude、Codex CLI、Ollamaを使ったオプションのLLM補正で、誤認識した単語を修正できます。
  • 05保留データによる評価を行いながら、自分の顔や言い回しに合わせて学習できます。
  • 06名前や用語が認識されやすくなるよう、カスタム単語リストを設定できます。

ユースケース

  • 静かなオフィスや共有スペースで、声を出さずにメッセージやメモを入力する。
  • 声を出せない、または出したくないときに、Webカメラを使って入力する。
  • 自分で録画した映像を使って、視覚音声認識を試す。

クイックスタート

  1. 1

    リポジトリをクローンする

    git clone https://github.com/amywork777/lipflow.git ~/code/lipflow
  2. 2

    セットアップスクリプトを実行する(macOSで依存関係とモデルをインストールし、アプリをビルドします)

    cd ~/code/lipflow && ./setup.sh
  3. 3

    Lipflowアプリを開き、初回起動時のセットアップを完了する

    open /Applications/Lipflow.app

使う前に知っておきたいこと

  • 標準のセットアップ手順にはmacOS 13以降を搭載したApple Silicon Macが必要です。違いはありますが、WindowsとLinuxもサポートされています。
  • 声を出さずに口だけを動かす場合は、撮影された発話より精度が低くなるため、自分のWebカメラではエラーが増えることがあります。
  • LRS3で学習したモデルの重みは、非営利の研究目的でのみ使用できます。

トピック

よくある質問

lipflow とは?
キーを押しながらWebカメラに向かって声を出さずに口を動かすと、認識したテキストをカーソル位置に入力します。すべてローカルで動作します。 Lipflowは、読唇によるディクテーションツールです。キーを押し、声を出さずに入力したい言葉を口にしてから、キーを離します。認識されたテキストは、デフォルトモードではマイクを使わずWebカメラだけで、アクティブなアプリのカーソル位置に貼り付けられます。
lipflow は無料で使えますか?ライセンスは?
lipflow は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
lipflow は今もメンテナンスされていますか?
活発にメンテナンス中。lipflow の最終コミットは 2026年10月7日 です。
lipflow は何に使えますか?
静かなオフィスや共有スペースで、声を出さずにメッセージやメモを入力する。 声を出せない、または出したくないときに、Webカメラを使って入力する。 自分で録画した映像を使って、視覚音声認識を試す。
lipflow のインストール方法は?
リポジトリをクローンする: git clone https://github.com/amywork777/lipflow.git ~/code/lipflow セットアップスクリプトを実行する(macOSで依存関係とモデルをインストールし、アプリをビルドします): cd ~/code/lipflow && ./setup.sh Lipflowアプリを開き、初回起動時のセットアップを完了する: open /Applications/Lipflow.app
lipflow はどこで入手できますか?
ソースコードとインストール手順は GitHub にあります:https://github.com/amywork777/lipflow

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト