MCP를 통해 AI 에이전트가 USB 또는 Wi-Fi로 실제 iPhone 화면을 읽고 탭·입력·스와이프하게 합니다.
zhongerxin/iPhone-use
WebDriverAgent를 통해 USB로 실제 iPhone을 조작하고 화면을 실시간 미리보기로 보여 주는 Codex, WorkBuddy, Doubao 플러그인입니다.
- 스타
- 4,342
- 포크
- 425
- 열린 이슈
- 25
- 마지막 커밋
- 4일 전
어떤 프로젝트인가요?
iPhone Use는 USB로 연결된 실제 iPhone을 AI 어시스턴트와 연결합니다. 자연어로 작업을 요청하면 어시스턴트가 앱을 열고, 화면을 읽고, 탭하거나 스와이프하고, 텍스트를 입력하고, 목록 항목을 수집할 수 있으며, 사이드바 위젯에는 휴대폰 화면이 실시간으로 표시됩니다. 휴대폰에서 자동화 서비스로 실행되는 WebDriverAgent(WDA)를 기반으로 하며, 로컬 MCP 서버, 설정 및 사용법을 안내하는 스킬, 화면 위젯도 포함합니다.
설정하려면 macOS, 전체 Xcode, Python 3.9+, Node.js, iPhone이 필요합니다. 사용자는 자신의 Apple 개발자 팀으로 WDA Runner에 서명한 뒤 실행합니다. 설치 스크립트는 Codex에 플러그인을 등록하고, WorkBuddy와 Doubao용 별도 설치 프로그램도 제공됩니다. 요소를 찾지 못하면 어시스턴트가 스크린샷과 좌표 탭을 대신 사용할 수 있습니다. 분석 기능은 기본적으로 활성화되어 있으며 환경 변수로 끌 수 있습니다.
이 프로젝트는 모델용 도구 18개와 화면 전용 보조 기능을 제공하며, 환경 진단, 여러 동작의 일괄 실행, 스크롤하며 항목 찾기, 목록 수집, 유니코드 안전 텍스트 입력을 지원합니다. 여러 호스트가 같은 휴대폰을 동시에 조작하지 못하도록 공유 작업 잠금 기능을 사용합니다.
핵심 기능
- 01WebDriverAgent를 통해 USB로 실제 iPhone을 조작합니다.
- 02모델이 사용할 수 있도록 간결한 접근성 트리와 스크린샷을 읽습니다.
- 03탭, 스와이프, 드래그, 유니코드 텍스트 입력, 동작 일괄 실행을 지원합니다.
- 04스크롤하면서 목록 항목을 수집하고, 겹치는 항목을 처리해 중복을 제거합니다.
- 05일시 중지 및 제어권 인계 상태를 표시하는 실시간 휴대폰 화면 위젯을 제공합니다.
- 06안내에 따라 Codex, WorkBuddy, Doubao에 설치할 수 있습니다.
활용 사례
- AI 어시스턴트가 개인 iPhone에서 앱을 열고 여러 단계로 이루어진 작업을 수행하게 합니다.
- 스크롤을 이용해 iPhone 앱의 목록 콘텐츠를 수집하거나 정리합니다.
- 데스크톱 어시스턴트에서 iOS 앱의 흐름을 테스트하거나 살펴봅니다.
- 사용자가 내용을 검토하고 제출할 수 있도록 휴대폰 앱에 텍스트 초안을 작성합니다.
빠른 시작
- 1
저장소를 클론합니다
git clone https://github.com/zhongerxin/iPhone-use.git - 2
프로젝트 디렉터리로 이동합니다
cd iPhone-use - 3
설치 스크립트를 실행합니다
sh scripts/install.sh
사용 전 알아둘 점
- macOS, 전체 Xcode, USB로 연결된 iPhone이 필요합니다.
- 먼저 자신의 Apple 개발자 계정으로 WebDriverAgent에 서명하고 자신의 iPhone에서 실행해야 합니다.
- 독립 실행형 도구라기보다 주로 Codex, WorkBuddy 또는 Doubao용 플러그인으로 설계되었습니다.
- README에 따르면 저장소는 현재 비공개이므로 GitHub 액세스 권한이나 소스 패키지가 필요합니다.
토픽
자주 묻는 질문
- iPhone-use은(는) 무엇인가요?
- WebDriverAgent를 통해 USB로 실제 iPhone을 조작하고 화면을 실시간 미리보기로 보여 주는 Codex, WorkBuddy, Doubao 플러그인입니다. iPhone Use는 USB로 연결된 실제 iPhone을 AI 어시스턴트와 연결합니다. 자연어로 작업을 요청하면 어시스턴트가 앱을 열고, 화면을 읽고, 탭하거나 스와이프하고, 텍스트를 입력하고, 목록 항목을 수집할 수 있으며, 사이드바 위젯에는 휴대폰 화면이 실시간으로 표시됩니다. 휴대폰에서 자동화 서비스로 실행되는 WebDriverAgent(WDA)를 기반으로 하며, 로컬 MCP 서버, 설정 및 사용법을 안내하는 스킬, 화면 위젯도 포함합니다.
- iPhone-use은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
- iPhone-use은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
- iPhone-use은(는) 아직 유지보수되고 있나요?
- 활발히 유지보수 중. iPhone-use의 마지막 커밋은 2026년 10월 16일입니다.
- iPhone-use은(는) 어디에 사용할 수 있나요?
- AI 어시스턴트가 개인 iPhone에서 앱을 열고 여러 단계로 이루어진 작업을 수행하게 합니다. 스크롤을 이용해 iPhone 앱의 목록 콘텐츠를 수집하거나 정리합니다. 데스크톱 어시스턴트에서 iOS 앱의 흐름을 테스트하거나 살펴봅니다. 사용자가 내용을 검토하고 제출할 수 있도록 휴대폰 앱에 텍스트 초안을 작성합니다.
- iPhone-use는 어떻게 설치하나요?
- 저장소를 클론합니다: git clone https://github.com/zhongerxin/iPhone-use.git 프로젝트 디렉터리로 이동합니다: cd iPhone-use 설치 스크립트를 실행합니다: sh scripts/install.sh
- iPhone-use은(는) 어디서 받을 수 있나요?
- 소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/zhongerxin/iPhone-use
요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.
관련 프로젝트
AI 에이전트나 MCP 클라이언트가 화면과 앱 창을 캡처하고 UI 요소를 살펴보며 클릭과 입력을 자동화할 수 있는 macOS CLI 및 메뉴 막대 앱입니다.
경험을 바탕으로 스킬을 만들고 다듬으며, 다양한 모델 제공업체와 CLI 및 메시징 앱에서 사용할 수 있는 자기 개선형 AI 에이전트입니다.
AI 에이전트가 여러 플랫폼의 콘텐츠를 읽고 검색하도록 채널을 설치·설정·상태 점검하는 CLI 및 스킬 레이어
Claude Code, Claude.ai와 Codex, Cursor, Gemini CLI 같은 코딩 에이전트용 Claude Skills 및 플러그인 1,000여 개를 엄선해 모아 둔 디렉터리입니다.