음성 복제, 음성 생성, 앱 어디서나 받아쓰기, AI 에이전트에 음성을 제공하는 오픈소스 로컬 AI 음성 스튜디오입니다.
amywork777/lipflow
키를 누른 채 웹캠을 보며 말없이 입 모양을 만들면, 텍스트를 커서 위치에 붙여 넣는 로컬 입술 읽기 받아쓰기 도구입니다.
대체할 수 있는 제품:Dragon NaturallySpeaking
Apple Dictation
- 스타
- 634
- 포크
- 73
- 열린 이슈
- 11
- 마지막 커밋
- 12일 전
어떤 프로젝트인가요?
Lipflow는 소리 없이 입 모양으로 표현한 말을 텍스트로 변환합니다. 키를 누른 채 말하고 싶은 내용을 소리 내지 않고 입 모양으로 표현한 뒤 키를 놓으면, 변환된 텍스트가 커서가 있는 앱에 붙여 넣어집니다. 기본 모드에서는 웹캠만 사용하므로 마이크가 필요하지 않습니다.
입술 읽기는 Auto-AVSR의 영상 전용 음성 인식 기능을 기반으로 합니다. 녹화 중 MediaPipe 얼굴 랜드마크를 계산하고, 입 주변 영역을 잘라 인코더에 입력한 다음, 언어 모델을 사용한 빔 서치로 후보 문장을 생성합니다. 선택 사항인 LLM 후처리 단계(Claude, Codex CLI, Ollama, 기기 내 MLX 모델 또는 오프라인 규칙)는 가장 그럴듯한 문장을 고르고 대소문자와 문장 부호를 다듬습니다.
이 프로젝트는 Apple Silicon Mac을 대상으로 하며, Windows와 Linux 지원도 안내되어 있습니다. 설정에는 사용자 자신의 얼굴과 말투에 맞춰 모델을 미세 조정하는 선택적 학습 과정이 포함되며, 입술 읽기와 오디오를 결합하는 선택적 위스퍼 모드도 제공합니다.
핵심 기능
- 01키를 누른 채 말없이 입 모양을 만들고 키를 놓으면 텍스트가 커서 위치에 붙여 넣어집니다.
- 02기본 모드에서는 웹캠만 사용하므로 마이크나 소리가 필요하지 않습니다.
- 03macOS, Windows, Linux에서 로컬로 실행됩니다.
- 04Claude, Codex CLI, Ollama 또는 기기 내 모델을 통한 선택적 LLM 후처리를 지원합니다.
- 05사용자 자신의 얼굴과 자주 쓰는 문구에 맞춰 미세 조정할 수 있습니다.
- 06명령줄에서 동영상 파일의 입술을 읽을 수 있습니다.
활용 사례
- 조용한 사무실이나 공용 공간에서 소리 내지 않고 텍스트를 받아쓰기.
- 마이크를 사용할 수 없거나 사용하고 싶지 않을 때 텍스트 입력.
- 자신의 웹캠 영상으로 시각적 음성 인식을 실험.
- 명령줄에서 녹화된 동영상 클립의 입술 읽기.
토픽
자주 묻는 질문
- lipflow은(는) 무엇인가요?
- 키를 누른 채 웹캠을 보며 말없이 입 모양을 만들면, 텍스트를 커서 위치에 붙여 넣는 로컬 입술 읽기 받아쓰기 도구입니다. Lipflow는 소리 없이 입 모양으로 표현한 말을 텍스트로 변환합니다. 키를 누른 채 말하고 싶은 내용을 소리 내지 않고 입 모양으로 표현한 뒤 키를 놓으면, 변환된 텍스트가 커서가 있는 앱에 붙여 넣어집니다. 기본 모드에서는 웹캠만 사용하므로 마이크가 필요하지 않습니다.
- lipflow은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
- lipflow은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
- lipflow은(는) 아직 유지보수되고 있나요?
- 활발히 유지보수 중. lipflow의 마지막 커밋은 2026년 10월 7일입니다.
- lipflow은(는) 어디에 사용할 수 있나요?
- 조용한 사무실이나 공용 공간에서 소리 내지 않고 텍스트를 받아쓰기. 마이크를 사용할 수 없거나 사용하고 싶지 않을 때 텍스트 입력. 자신의 웹캠 영상으로 시각적 음성 인식을 실험. 명령줄에서 녹화된 동영상 클립의 입술 읽기.
- lipflow은(는) 어디서 받을 수 있나요?
- 소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/amywork777/lipflow
요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.
관련 프로젝트
이미지 배경을 제거하는 Python 도구 및 라이브러리로, CLI·라이브러리·HTTP 서버·Docker에서 사용할 수 있습니다.
OpenCore와 Lilu를 기반으로 구형 Mac에서 최신 macOS를 설치하고 실행하는 Python 패처입니다.
지원 에이전트부터 브라우저 및 컴퓨터 사용 에이전트까지, Claude API 기반 배포 가능한 앱을 만드는 스타터 프로젝트 모음입니다.
내 기기에서 실행되며 WhatsApp, Telegram, Slack, Discord 등의 채팅 앱으로 대화하는 셀프 호스팅 개인 AI 어시스턴트
코딩 에이전트의 브레인스토밍, 계획, TDD, 서브에이전트 기반 구현을 돕는 개발 방법론과 스킬 라이브러리입니다.