Позволяет AI-агентам, например Claude Code или Codex, считывать экран, нажимать, вводить текст и свайпать на реальном iPhone через USB или Wi-Fi с помощью MCP.
31034RustOtherОбновлён 14 часов назад
onehumanbeing/esp32-iphone-agent
Позволяет модели компьютерного зрения управлять настоящим iPhone с помощью платы ESP32-S3 за $7, которая принимает AirPlay и работает как USB HID-мышь, — без компьютера во время работы.
- Звёзды
- 3,240
- Форки
- 428
- Открытые issues
- 14
- Последний коммит
- 22 часа назад
Что это?
ESP32 iPhone Agent позволяет модели ИИ управлять физическим iPhone. Плата ESP32-S3 работает как приёмник AirPlay, поэтому экран телефона транслируется на неё по Wi-Fi. Кроме того, для телефона плата определяется как стандартные USB-мышь и клавиатура. Приложение на iPhone декодирует полученный поток, отправляет снимки экрана модели компьютерного зрения, совместимой с OpenAI API, и выполняет касания, свайпы, ввод текста и нажатия клавиш в соответствии с ответами модели.
Проект рассчитан на случаи, когда нет доступа к Mac, аккаунту разработчика или джейлбрейку. Для прошивки платы и сборки приложения один раз понадобится Mac с Xcode, но для запуска агента он не нужен. Каждый запуск сохраняется на телефоне, чтобы его можно было воспроизвести пошагово, а трассировки — экспортировать для анализа другим агентом.
Проект распространяется по лицензии MIT, за исключением компонента прошивки, перенесённого из UxPlay и распространяемого по лицензии GPL-3.0. Требуются iOS 18 или новее и сотовая связь: во время работы агента Wi-Fi телефона занят точкой доступа платы.
Ключевые возможности
- 01Принимает изображение с экрана iPhone через AirPlay Screen Mirroring и передаёт поток H.264 в приложение по BLE.
- 02Работает как USB HID-мышь и клавиатура, используя AssistiveTouch для касаний и свайпов указателем.
- 03Совместим с любой моделью компьютерного зрения, поддерживающей OpenAI API, включая собственные серверы, например vLLM и Ollama.
- 04Выполняет шаги планировщика и исполнителя в фоновом режиме и приостанавливает или возобновляет работу, если отключается плата или соединение зеркалирования.
- 05Сохраняет каждый запуск для пошагового воспроизведения и экспорта снимков экрана и действий.
Сценарии использования
- Создание прототипа ИИ-агента для управления приложениями iOS без Mac и аккаунта разработчика.
- Автоматизация повторяющихся задач на собственном iPhone — например, установка будильников или изменение настроек.
- Исследование агентов для управления компьютером на физическом устройстве, а не в симуляторе.
- Сбор трассировок взаимодействия с телефоном для анализа другим агентом.
Темы
Частые вопросы
- Что такое esp32-iphone-agent?
- Позволяет модели компьютерного зрения управлять настоящим iPhone с помощью платы ESP32-S3 за $7, которая принимает AirPlay и работает как USB HID-мышь, — без компьютера во время работы. ESP32 iPhone Agent позволяет модели ИИ управлять физическим iPhone. Плата ESP32-S3 работает как приёмник AirPlay, поэтому экран телефона транслируется на неё по Wi-Fi. Кроме того, для телефона плата определяется как стандартные USB-мышь и клавиатура. Приложение на iPhone декодирует полученный поток, отправляет снимки экрана модели компьютерного зрения, совместимой с OpenAI API, и выполняет касания, свайпы, ввод текста и нажатия клавиш в соответствии с ответами модели.
- esp32-iphone-agent можно использовать бесплатно? Какая у него лицензия?
- esp32-iphone-agent распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.
- esp32-iphone-agent всё ещё поддерживается?
- Активно поддерживается. Последний коммит в esp32-iphone-agent — 19 окт. 2026 г..
- Для чего можно использовать esp32-iphone-agent?
- Создание прототипа ИИ-агента для управления приложениями iOS без Mac и аккаунта разработчика. Автоматизация повторяющихся задач на собственном iPhone — например, установка будильников или изменение настроек. Исследование агентов для управления компьютером на физическом устройстве, а не в симуляторе. Сбор трассировок взаимодействия с телефоном для анализа другим агентом.
- Где скачать esp32-iphone-agent?
- Исходный код и инструкции по установке — на GitHub: https://github.com/onehumanbeing/esp32-iphone-agent
Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.
Похожие проекты
Самообучающийся AI-агент, который создаёт и улучшает навыки на основе опыта, работает со множеством провайдеров моделей и доступен через CLI и мессенджеры.
255,3 тыс.55,6 тыс.PythonMITОбновлён 1 час назад
Фреймворк для автономного управления Android-устройствами и компьютерами: LLM-планировщик и LLM-поисковик выполняют задачи на естественном языке.
71487PythonMITОбновлён 7 месяцев назад
AI-агент, который управляет Windows на уровне GUI: считывает дерево UI Automation, а любая LLM выбирает щелчки, ввод текста и команды.
47263PythonMITОбновлён 27 дней назад
Нативное приложение для macOS, которое создаёт программные виртуальные дисплеи, чтобы визуальные AI-агенты могли работать с настольными приложениями при выключенных физических мониторах.
16212Objective-CMITОбновлён 3 дня назад
OpenWorker — открытый ИИ-напарник для компьютера, который выполняет повседневные задачи и проверяет безопасность, используя ваши ключи моделей и действия с подтверждением.
18,6 тыс.2,6 тыс.PythonMITОбновлён позавчера