Repolode
amywork777

amywork777/lipflow

키를 누른 채 웹캠을 보며 말없이 입 모양을 만들면, 텍스트를 커서 위치에 붙여 넣는 로컬 입술 읽기 받아쓰기 도구입니다.

대체할 수 있는 제품:Dragon NaturallySpeakingApple Dictation

스타
634
포크
73
열린 이슈
11
마지막 커밋
12일 전

어떤 프로젝트인가요?

Lipflow는 소리 없이 입 모양으로 표현한 말을 텍스트로 변환합니다. 키를 누른 채 말하고 싶은 내용을 소리 내지 않고 입 모양으로 표현한 뒤 키를 놓으면, 변환된 텍스트가 커서가 있는 앱에 붙여 넣어집니다. 기본 모드에서는 웹캠만 사용하므로 마이크가 필요하지 않습니다.

입술 읽기는 Auto-AVSR의 영상 전용 음성 인식 기능을 기반으로 합니다. 녹화 중 MediaPipe 얼굴 랜드마크를 계산하고, 입 주변 영역을 잘라 인코더에 입력한 다음, 언어 모델을 사용한 빔 서치로 후보 문장을 생성합니다. 선택 사항인 LLM 후처리 단계(Claude, Codex CLI, Ollama, 기기 내 MLX 모델 또는 오프라인 규칙)는 가장 그럴듯한 문장을 고르고 대소문자와 문장 부호를 다듬습니다.

이 프로젝트는 Apple Silicon Mac을 대상으로 하며, Windows와 Linux 지원도 안내되어 있습니다. 설정에는 사용자 자신의 얼굴과 말투에 맞춰 모델을 미세 조정하는 선택적 학습 과정이 포함되며, 입술 읽기와 오디오를 결합하는 선택적 위스퍼 모드도 제공합니다.

핵심 기능

  • 01키를 누른 채 말없이 입 모양을 만들고 키를 놓으면 텍스트가 커서 위치에 붙여 넣어집니다.
  • 02기본 모드에서는 웹캠만 사용하므로 마이크나 소리가 필요하지 않습니다.
  • 03macOS, Windows, Linux에서 로컬로 실행됩니다.
  • 04Claude, Codex CLI, Ollama 또는 기기 내 모델을 통한 선택적 LLM 후처리를 지원합니다.
  • 05사용자 자신의 얼굴과 자주 쓰는 문구에 맞춰 미세 조정할 수 있습니다.
  • 06명령줄에서 동영상 파일의 입술을 읽을 수 있습니다.

활용 사례

  • 조용한 사무실이나 공용 공간에서 소리 내지 않고 텍스트를 받아쓰기.
  • 마이크를 사용할 수 없거나 사용하고 싶지 않을 때 텍스트 입력.
  • 자신의 웹캠 영상으로 시각적 음성 인식을 실험.
  • 명령줄에서 녹화된 동영상 클립의 입술 읽기.

토픽

자주 묻는 질문

lipflow은(는) 무엇인가요?
키를 누른 채 웹캠을 보며 말없이 입 모양을 만들면, 텍스트를 커서 위치에 붙여 넣는 로컬 입술 읽기 받아쓰기 도구입니다. Lipflow는 소리 없이 입 모양으로 표현한 말을 텍스트로 변환합니다. 키를 누른 채 말하고 싶은 내용을 소리 내지 않고 입 모양으로 표현한 뒤 키를 놓으면, 변환된 텍스트가 커서가 있는 앱에 붙여 넣어집니다. 기본 모드에서는 웹캠만 사용하므로 마이크가 필요하지 않습니다.
lipflow은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
lipflow은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
lipflow은(는) 아직 유지보수되고 있나요?
활발히 유지보수 중. lipflow의 마지막 커밋은 2026년 10월 7일입니다.
lipflow은(는) 어디에 사용할 수 있나요?
조용한 사무실이나 공용 공간에서 소리 내지 않고 텍스트를 받아쓰기. 마이크를 사용할 수 없거나 사용하고 싶지 않을 때 텍스트 입력. 자신의 웹캠 영상으로 시각적 음성 인식을 실험. 명령줄에서 녹화된 동영상 클립의 입술 읽기.
lipflow은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/amywork777/lipflow

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트