Repolode
提交项目
amywork777

amywork777/lipflow

按住快捷键无声地对着摄像头做口型，Lipflow 会把识别出的文字输入到光标处，全程本地运行。

可替代:Wispr Flow

在 GitHub 查看
Star
633
Fork
73
未关闭 Issue
11
最近提交
13天前

这是什么？

Lipflow 是一个读唇式语音输入工具。按住一个快捷键，无声地做出口型，松开后识别出的文字就会粘贴到当前应用的光标处。默认模式只使用摄像头，不需要麦克风。

识别部分基于 Auto-AVSR 纯视觉语音识别模型，用 MediaPipe 人脸关键点从每一帧裁出嘴部区域。可选的 LLM 清理步骤会修正容易出错的词，可以使用 Claude、Codex CLI、Ollama、设备端 MLX 模型或离线规则。设置过程中可以在本地导入 Wispr Flow 的听写历史，并在 Apple Silicon 上用自己的面部和用词微调模型。

主要版本面向 Apple Silicon 的 macOS，同时也支持 Windows 和 Linux。可选的耳语模式会同时使用麦克风，以提高识别准确率。

核心功能

  • 01仅用摄像头即可无声读唇输入，默认不需要麦克风。
  • 02将识别出的文字粘贴到任意应用的光标处。
  • 03可在本地运行，并可选择设备端 MLX 模型做文本清理。
  • 04支持通过 Claude、Codex CLI 或 Ollama 进行 LLM 清理，修正误读的词。
  • 05可用自己的面部和用词进行个性化训练，并用保留样本评估效果。
  • 06支持自定义词表，帮助识别人名和专有名词。

适用场景

  • 在安静的办公室或公共场所无需出声即可口述消息或笔记。
  • 在不便或不想发声时，通过摄像头输入文字。
  • 用自己的视频录制内容，实验视觉语音识别。

快速上手

  1. 1

    克隆仓库

    git clone https://github.com/amywork777/lipflow.git ~/code/lipflow
  2. 2

    运行安装脚本（安装依赖和模型，并在macOS上构建应用）

    cd ~/code/lipflow && ./setup.sh
  3. 3

    打开Lipflow应用并完成首次启动设置

    open /Applications/Lipflow.app

使用前须知

  • 主要安装路径需要macOS 13或更高版本的Apple芯片Mac；Windows和Linux也受支持，但有差异。
  • 无声口型识别的准确率低于录制视频，在自己的摄像头上可能出现更多错误。
  • 基于LRS3训练的模型权重仅供非商业研究使用。

标签

#lip-reading#speech-recognition#visual-speech#dictation#macos#computer-vision#pytorch#mediapipe

常见问题

lipflow 是什么？
按住快捷键无声地对着摄像头做口型，Lipflow 会把识别出的文字输入到光标处，全程本地运行。 Lipflow 是一个读唇式语音输入工具。按住一个快捷键，无声地做出口型，松开后识别出的文字就会粘贴到当前应用的光标处。默认模式只使用摄像头，不需要麦克风。
lipflow 可以免费使用吗？用的什么许可证？
lipflow 以 MIT 许可证开源。用于商业产品前，请先确认许可证条款。
lipflow 还在维护吗？
活跃维护中。lipflow 最近一次提交是在 2026年10月7日。
lipflow 适合用来做什么？
在安静的办公室或公共场所无需出声即可口述消息或笔记。 在不便或不想发声时，通过摄像头输入文字。 用自己的视频录制内容，实验视觉语音识别。
lipflow 怎么安装和运行？
克隆仓库: git clone https://github.com/amywork777/lipflow.git ~/code/lipflow 运行安装脚本（安装依赖和模型，并在macOS上构建应用）: cd ~/code/lipflow && ./setup.sh 打开Lipflow应用并完成首次启动设置: open /Applications/Lipflow.app
在哪里获取 lipflow？
源代码和安装说明在 GitHub 上：https://github.com/amywork777/lipflow

概要由 AI 根据项目 README 生成；GitHub 数据每日更新。

相关项目