コードブック検索トランスフォーマーで、ぼやけた低画質・破損した写真や動画の顔を復元するPythonツール。
amywork777/lipflow
キーを押しながらWebカメラに向かって声を出さずに口を動かすと、認識したテキストをカーソル位置に入力します。すべてローカルで動作します。
代替できる製品:Wispr Flow
- スター
- 633
- フォーク
- 73
- 未解決の Issue
- 11
- 最終コミット
- 13 日前
これは何?
Lipflowは、読唇によるディクテーションツールです。キーを押し、声を出さずに入力したい言葉を口にしてから、キーを離します。認識されたテキストは、デフォルトモードではマイクを使わずWebカメラだけで、アクティブなアプリのカーソル位置に貼り付けられます。
読唇機能には、映像のみを使う音声認識モデルAuto-AVSRを採用し、MediaPipeの顔ランドマークを使って各フレームから口元の領域を切り出します。オプションのLLMによる補正では、Claude、Codex CLI、Ollama、デバイス上で動作するMLXモデル、またはオフラインのルールを使って、誤認識と思われる箇所を修正できます。セットアップ時にWispr Flowのディクテーション履歴をローカルに取り込み、Apple Silicon上で自分の顔や言い回しに合わせてモデルをファインチューニングすることもできます。
主なビルド対象はApple Silicon搭載のmacOSですが、WindowsとLinuxにも対応すると説明されています。オプションのwhisperモードではマイクを使い、認識精度を高められます。
主な機能
- 01デフォルトではマイク不要。Webカメラだけで声を出さずに読唇入力できます。
- 02認識したテキストを、どのアプリでもカーソル位置に貼り付けます。
- 03ローカルで動作し、LLMによる補正にはデバイス上のMLXモデルも使用できます。
- 04Claude、Codex CLI、Ollamaを使ったオプションのLLM補正で、誤認識した単語を修正できます。
- 05保留データによる評価を行いながら、自分の顔や言い回しに合わせて学習できます。
- 06名前や用語が認識されやすくなるよう、カスタム単語リストを設定できます。
ユースケース
- 静かなオフィスや共有スペースで、声を出さずにメッセージやメモを入力する。
- 声を出せない、または出したくないときに、Webカメラを使って入力する。
- 自分で録画した映像を使って、視覚音声認識を試す。
クイックスタート
- 1
リポジトリをクローンする
git clone https://github.com/amywork777/lipflow.git ~/code/lipflow - 2
セットアップスクリプトを実行する(macOSで依存関係とモデルをインストールし、アプリをビルドします)
cd ~/code/lipflow && ./setup.sh - 3
Lipflowアプリを開き、初回起動時のセットアップを完了する
open /Applications/Lipflow.app
使う前に知っておきたいこと
- 標準のセットアップ手順にはmacOS 13以降を搭載したApple Silicon Macが必要です。違いはありますが、WindowsとLinuxもサポートされています。
- 声を出さずに口だけを動かす場合は、撮影された発話より精度が低くなるため、自分のWebカメラではエラーが増えることがあります。
- LRS3で学習したモデルの重みは、非営利の研究目的でのみ使用できます。
トピック
よくある質問
- lipflow とは?
- キーを押しながらWebカメラに向かって声を出さずに口を動かすと、認識したテキストをカーソル位置に入力します。すべてローカルで動作します。 Lipflowは、読唇によるディクテーションツールです。キーを押し、声を出さずに入力したい言葉を口にしてから、キーを離します。認識されたテキストは、デフォルトモードではマイクを使わずWebカメラだけで、アクティブなアプリのカーソル位置に貼り付けられます。
- lipflow は無料で使えますか?ライセンスは?
- lipflow は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
- lipflow は今もメンテナンスされていますか?
- 活発にメンテナンス中。lipflow の最終コミットは 2026年10月7日 です。
- lipflow は何に使えますか?
- 静かなオフィスや共有スペースで、声を出さずにメッセージやメモを入力する。 声を出せない、または出したくないときに、Webカメラを使って入力する。 自分で録画した映像を使って、視覚音声認識を試す。
- lipflow のインストール方法は?
- リポジトリをクローンする: git clone https://github.com/amywork777/lipflow.git ~/code/lipflow セットアップスクリプトを実行する(macOSで依存関係とモデルをインストールし、アプリをビルドします): cd ~/code/lipflow && ./setup.sh Lipflowアプリを開き、初回起動時のセットアップを完了する: open /Applications/Lipflow.app
- lipflow はどこで入手できますか?
- ソースコードとインストール手順は GitHub にあります:https://github.com/amywork777/lipflow
概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。
関連プロジェクト
PyTorchベースの深層学習モデルでPDFや画像のテキストを検出・認識する、オープンソースのPython OCRライブラリ。
ビジョン、音声、NLP、LLMを網羅する419種類の学習済みAIモデルを、共通のPython CLIからailia SDKで実行できます。
NEOは、ピクセルと単語を単一のエンコーダーフリーな高密度アーキテクチャで処理する視覚言語モデル群で、学習・評価コードも公開しています。
CVPR 2025のLiveCC論文に基づく、ライブ動画にリアルタイムで解説を付ける動画LLM。
Windows、macOS、Linuxで使える、超解像モデルによる画像拡大に対応したクロスプラットフォームのデスクトップアプリ。