MCP를 통해 AI 에이전트가 USB 또는 Wi-Fi로 실제 iPhone 화면을 읽고 탭·입력·스와이프하게 합니다.
onehumanbeing/esp32-iphone-agent
7달러짜리 ESP32-S3 보드로 실제 iPhone을 조작하는 AI 비전 모델 에이전트입니다. 실행 중에는 컴퓨터가 필요하지 않습니다.
- 스타
- 3,302
- 포크
- 440
- 열린 이슈
- 14
- 마지막 커밋
- 9시간 전
어떤 프로젝트인가요?
ESP32 iPhone Agent는 AI 모델이 실제 iPhone을 제어할 수 있게 해주는 시스템입니다. ESP32-S3 보드는 AirPlay 수신기로 동작해 Wi-Fi를 통해 iPhone 화면을 미러링하고, iPhone에는 표준 USB 마우스와 키보드로 인식됩니다. 같은 기기에서 실행되는 iPhone 앱은 미러링 스트림을 디코딩해 스크린샷을 OpenAI 호환 비전 모델로 보내고, 모델의 응답에 따라 탭, 스와이프, 텍스트 입력, 키 입력을 수행합니다.
이 프로젝트는 Mac, 개발자 계정 또는 탈옥을 사용할 수 없는 환경을 대상으로 합니다. 보드를 플래시하고 앱을 빌드하려면 한 번은 Xcode가 설치된 Mac이 필요하지만, 에이전트를 실행할 때는 필요하지 않습니다. 실행 기록은 매번 iPhone에 저장되어 단계별로 다시 재생할 수 있으며, 다른 에이전트가 분석할 수 있도록 트레이스를 내보낼 수도 있습니다.
이 프로젝트는 MIT 라이선스를 따르지만, UxPlay에서 포팅한 펌웨어 구성 요소는 GPL-3.0 라이선스를 따릅니다. 요구 사항은 iOS 18 이상과 셀룰러 데이터입니다. 에이전트 실행 중에는 iPhone의 Wi-Fi를 보드의 핫스팟이 사용하기 때문입니다.
핵심 기능
- 01AirPlay 화면 미러링으로 iPhone 화면을 수신하고, H.264 스트림을 BLE를 통해 앱으로 전달합니다.
- 02AssistiveTouch를 사용해 포인터 기반 탭과 스와이프를 수행하는 USB HID 마우스 및 키보드로 동작합니다.
- 03vLLM, Ollama와 같은 자체 호스팅 서버를 포함해 OpenAI 호환 비전 모델을 사용할 수 있습니다.
- 04플래너와 액터 단계를 백그라운드에서 실행하며, 보드나 미러링 연결이 끊기면 일시 중지했다가 다시 시작합니다.
- 05모든 실행 기록을 저장해 단계별로 다시 재생하고 스크린샷과 동작을 내보낼 수 있습니다.
활용 사례
- Mac이나 개발자 계정 없이 iOS 앱을 조작하는 AI 에이전트 프로토타입을 만듭니다.
- 알람 설정이나 설정 변경처럼 소유한 iPhone에서 반복 작업을 자동화합니다.
- 시뮬레이터가 아닌 실제 기기에서 컴퓨터 사용 에이전트를 연구합니다.
- 다른 에이전트가 분석할 수 있도록 휴대폰 상호작용의 실행 트레이스를 수집합니다.
토픽
자주 묻는 질문
- esp32-iphone-agent은(는) 무엇인가요?
- 7달러짜리 ESP32-S3 보드로 실제 iPhone을 조작하는 AI 비전 모델 에이전트입니다. 실행 중에는 컴퓨터가 필요하지 않습니다. ESP32 iPhone Agent는 AI 모델이 실제 iPhone을 제어할 수 있게 해주는 시스템입니다. ESP32-S3 보드는 AirPlay 수신기로 동작해 Wi-Fi를 통해 iPhone 화면을 미러링하고, iPhone에는 표준 USB 마우스와 키보드로 인식됩니다. 같은 기기에서 실행되는 iPhone 앱은 미러링 스트림을 디코딩해 스크린샷을 OpenAI 호환 비전 모델로 보내고, 모델의 응답에 따라 탭, 스와이프, 텍스트 입력, 키 입력을 수행합니다.
- esp32-iphone-agent은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
- esp32-iphone-agent은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
- esp32-iphone-agent은(는) 아직 유지보수되고 있나요?
- 활발히 유지보수 중. esp32-iphone-agent의 마지막 커밋은 2026년 10월 19일입니다.
- esp32-iphone-agent은(는) 어디에 사용할 수 있나요?
- Mac이나 개발자 계정 없이 iOS 앱을 조작하는 AI 에이전트 프로토타입을 만듭니다. 알람 설정이나 설정 변경처럼 소유한 iPhone에서 반복 작업을 자동화합니다. 시뮬레이터가 아닌 실제 기기에서 컴퓨터 사용 에이전트를 연구합니다. 다른 에이전트가 분석할 수 있도록 휴대폰 상호작용의 실행 트레이스를 수집합니다.
- esp32-iphone-agent은(는) 어디서 받을 수 있나요?
- 소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/onehumanbeing/esp32-iphone-agent
요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.
관련 프로젝트
경험을 바탕으로 스킬을 만들고 다듬으며, 다양한 모델 제공업체와 CLI 및 메시징 앱에서 사용할 수 있는 자기 개선형 AI 에이전트입니다.
자연어 작업을 바탕으로 플래너와 파인더 LLM이 휴대폰과 데스크톱을 조작하는 프레임워크입니다.
UI Automation 트리를 읽고 LLM이 클릭, 입력, 명령 실행을 선택해 Windows를 제어하는 AI 에이전트
물리 모니터를 끈 상태에서도 시각 AI 에이전트가 데스크톱 앱을 사용할 수 있도록 소프트웨어 가상 디스플레이를 만드는 macOS 앱입니다.
자체 모델 키와 승인 기반 작업으로 일상 업무와 보안 검토를 처리하는 오픈소스 데스크톱 AI 동료입니다.