Ferramenta em Python para restauração cega de rostos, que melhora rostos borrados, de baixa qualidade ou danificados em fotos e vídeos usando um transformer com consulta a codebook.
18,2 mil3,7 milPythonOtherAtualizado há 11 meses
amywork777/lipflow
Segure uma tecla, articule palavras em silêncio diante da webcam e o Lipflow digita o texto reconhecido no cursor, rodando localmente.
Alternativa open source a:Wispr Flow
- Estrelas
- 633
- Forks
- 73
- Issues abertas
- 11
- Último commit
- há 12 dias
O que é?
Lipflow é uma ferramenta de ditado por leitura labial. Você segura uma tecla, articula em silêncio o que quer dizer e solta a tecla. O texto reconhecido é inserido no cursor, no app que estiver ativo, usando apenas uma webcam e sem microfone no modo padrão.
O leitor labial é baseado no reconhecimento de fala apenas visual do Auto-AVSR, com landmarks faciais do MediaPipe usados para recortar as regiões da boca em cada frame. Uma etapa opcional de revisão com LLM corrige erros prováveis usando Claude, Codex CLI, Ollama, um modelo MLX no dispositivo ou regras offline. Na configuração, é possível importar o histórico de ditados do Wispr Flow localmente e ajustar os modelos com o próprio rosto e jeito de falar do usuário em Apple Silicon.
A versão principal tem como alvo o macOS em Apple Silicon, e também há suporte descrito para Windows e Linux. Um modo opcional com whisper adiciona o microfone para melhorar a precisão.
Recursos principais
- 01Entrada por leitura labial silenciosa usando apenas uma webcam; o modo padrão não precisa de microfone.
- 02Insere o texto reconhecido no cursor, em qualquer app.
- 03Roda localmente, com um modelo MLX opcional no dispositivo para revisão com LLM.
- 04Revisão opcional com LLM via Claude, Codex CLI ou Ollama para corrigir palavras interpretadas incorretamente.
- 05Treinamento personalizado com o próprio rosto e jeito de falar, com avaliação em dados separados.
- 06Lista personalizada de palavras que favorece o reconhecimento de nomes e termos.
Casos de uso
- Ditado de mensagens ou notas em um escritório silencioso ou espaço compartilhado, sem falar em voz alta.
- Digitação usando uma webcam quando você não pode ou prefere não falar.
- Experimentação com reconhecimento visual de fala usando as próprias gravações.
Tópicos
Perguntas frequentes
- O que é lipflow?
- Segure uma tecla, articule palavras em silêncio diante da webcam e o Lipflow digita o texto reconhecido no cursor, rodando localmente. Lipflow é uma ferramenta de ditado por leitura labial. Você segura uma tecla, articula em silêncio o que quer dizer e solta a tecla. O texto reconhecido é inserido no cursor, no app que estiver ativo, usando apenas uma webcam e sem microfone no modo padrão.
- lipflow é gratuito? Qual é a licença?
- lipflow é open source sob a licença MIT. Confira os termos da licença antes de usá-lo em produtos comerciais.
- lipflow ainda é mantido?
- Manutenção ativa. O último commit de lipflow foi em 7 de out. de 2026.
- Para que posso usar lipflow?
- Ditado de mensagens ou notas em um escritório silencioso ou espaço compartilhado, sem falar em voz alta. Digitação usando uma webcam quando você não pode ou prefere não falar. Experimentação com reconhecimento visual de fala usando as próprias gravações.
- Onde consigo lipflow?
- O código-fonte e as instruções de instalação estão no GitHub: https://github.com/amywork777/lipflow
Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Projetos relacionados
Biblioteca de OCR de código aberto para Python que detecta e reconhece texto em PDFs e imagens usando modelos de deep learning baseados em PyTorch.
6,4 mil687PythonApache-2.0Atualizado há 6 horas
Uma coleção de 419 modelos de IA pré-treinados para visão, fala, NLP e LLMs, todos executáveis por uma CLI Python unificada usando o ailia SDK.
2,4 mil367PythonOtherAtualizado há 3 horas
NEO é uma família de modelos nativos de visão e linguagem que processam pixels e palavras em uma única arquitetura densa sem encoder, com código de treinamento e avaliação.
90433PythonApache-2.0Atualizado há 3 meses
Um LLM de vídeo treinado com transcrição de fala em streaming que gera comentários em tempo real sobre vídeos ao vivo, apresentado no artigo LiveCC da CVPR 2025.
48059PythonSem licençaAtualizado há 12 meses
Aplicativo desktop multiplataforma para ampliar imagens com modelos de super-resolução, com suporte a modelos integrados ou personalizados no Windows, macOS e Linux.
7,4 mil525TypeScriptBSD-3-ClauseAtualizado anteontem