Herramienta de Python para restauración facial ciega: mejora rostros borrosos, de baja calidad o dañados en fotos y videos mediante un transformer con búsqueda en un libro de códigos.
18,2 mil3,7 milPythonOtherActualizado hace 11 meses
amywork777/lipflow
Hold a key, silently mouth words on your webcam, and Lipflow types the recognized text at your cursor, running locally.
Alternativa open source a:Wispr Flow
- Estrellas
- 633
- Forks
- 73
- Issues abiertos
- 11
- Último commit
- hace 12 días
¿Qué es?
Lipflow is a lip-reading dictation tool. You hold a key, mouth what you want to say without making a sound, and release it. The recognized text is pasted at the cursor in whatever app is active, using only a webcam and no microphone for the default mode.
The lip reader is based on Auto-AVSR visual-only speech recognition, with MediaPipe face landmarks used to crop mouth regions from each frame. An optional LLM cleanup step corrects likely errors using Claude, the Codex CLI, Ollama, an on-device MLX model, or offline rules. Setup can import Wispr Flow dictation history locally and fine-tune the models on the user's own face and phrasing on Apple Silicon.
The main build targets macOS on Apple Silicon, with Windows and Linux support also described. An optional whisper mode adds the microphone for better accuracy.
Funciones clave
- 01Silent lip-reading input with only a webcam, no microphone needed by default.
- 02Pastes recognized text at the cursor in any app.
- 03Runs locally, with an optional on-device MLX model for LLM cleanup.
- 04Optional LLM cleanup via Claude, Codex CLI, or Ollama to fix misread words.
- 05Personal training on your own face and phrasing, with held-out evaluation.
- 06Custom word list that biases recognition toward names and terms.
Casos de uso
- Dictating messages or notes in a quiet office or shared space without speaking aloud.
- Typing with a webcam when you cannot or prefer not to vocalize.
- Experimenting with visual speech recognition on your own recordings.
Temas
Preguntas frecuentes
- ¿Qué es lipflow?
- Hold a key, silently mouth words on your webcam, and Lipflow types the recognized text at your cursor, running locally. Lipflow is a lip-reading dictation tool. You hold a key, mouth what you want to say without making a sound, and release it. The recognized text is pasted at the cursor in whatever app is active, using only a webcam and no microphone for the default mode.
- ¿lipflow es gratuito? ¿Qué licencia tiene?
- lipflow es open source bajo la licencia MIT. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿lipflow sigue mantenido?
- Mantenimiento activo. El último commit de lipflow fue el 7 oct 2026.
- ¿Para qué puedo usar lipflow?
- Dictating messages or notes in a quiet office or shared space without speaking aloud. Typing with a webcam when you cannot or prefer not to vocalize. Experimenting with visual speech recognition on your own recordings.
- ¿Dónde consigo lipflow?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/amywork777/lipflow
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Biblioteca OCR de Python de código abierto que detecta y reconoce texto en PDF e imágenes con modelos de deep learning basados en PyTorch.
6,4 mil687PythonApache-2.0Actualizado hace 5 horas
Colección de 419 modelos de IA preentrenados para visión, voz, NLP y LLM, ejecutables desde una CLI de Python común mediante ailia SDK.
2,4 mil367PythonOtherActualizado hace 2 horas
NEO is a family of native vision-language models that process pixels and words in one encoder-free dense architecture, with training and evaluation code.
90433PythonApache-2.0Actualizado hace 3 meses
A video LLM trained with streaming speech transcription that produces real-time commentary on live video, from the CVPR 2025 LiveCC paper.
48059PythonSin licenciaActualizado hace 12 meses
Aplicación de escritorio multiplataforma para ampliar imágenes con modelos de superresolución, con modelos integrados y personalizados para Windows, macOS y Linux.
7,4 mil525TypeScriptBSD-3-ClauseActualizado anteayer