Repolode
Предложить
zhongerxin

zhongerxin/iPhone-use

Плагин для Codex, WorkBuddy и Doubao, который позволяет AI-ассистенту управлять настоящим iPhone через USB с помощью WebDriverAgent и показывает экран в реальном времени.

Открыть на GitHub
Звёзды
4,342
Форки
425
Открытые issues
25
Последний коммит
4 дня назад

Что это?

iPhone Use подключает AI-ассистента к настоящему iPhone, подключённому по USB. Получив задачу на естественном языке, ассистент может открывать приложения, читать содержимое экрана, нажимать, свайпать, вводить текст и собирать элементы списков, а виджет на боковой панели показывает экран телефона в реальном времени. Проект построен на WebDriverAgent (WDA), который работает на телефоне как служба автоматизации, и включает локальный MCP-сервер, навыки настройки и использования, а также виджет экрана.

Для настройки нужны macOS, полная версия Xcode, Python 3.9+, Node.js и iPhone. Пользователь подписывает и запускает WDA Runner, указав собственную команду разработчика Apple. Скрипт установки регистрирует плагин в Codex, а для WorkBuddy и Doubao предусмотрены отдельные установщики. Если найти элемент не удаётся, ассистент может перейти к скриншотам и нажатию по координатам. Аналитика включена по умолчанию; её можно отключить с помощью переменной окружения.

Проект предоставляет модели 18 инструментов, а также вспомогательные средства для работы только с экраном: диагностику окружения, пакетные действия, прокрутку с поиском, сбор элементов списков и ввод текста с поддержкой Unicode. Общая блокировка операций не позволяет нескольким хостам одновременно управлять одним телефоном.

Ключевые возможности

  • 01Управляет настоящим iPhone через USB с помощью WebDriverAgent.
  • 02Передаёт модели компактные деревья доступности и скриншоты.
  • 03Поддерживает нажатия, свайпы, перетаскивание, ввод текста в Unicode и пакетные действия.
  • 04Прокручивает списки и собирает их элементы, обрабатывая пересечения и удаляя дубликаты.
  • 05Показывает виджет экрана телефона в реальном времени с состояниями паузы и перехвата управления.
  • 06Устанавливается для Codex, WorkBuddy и Doubao; настройка сопровождается инструкциями.

Сценарии использования

  • Позволяет AI-ассистенту открывать приложения на личном iPhone и выполнять многошаговые задачи.
  • Собирает и упорядочивает содержимое списков в приложениях iPhone с помощью прокрутки.
  • Позволяет тестировать и изучать сценарии работы iOS-приложений с помощью настольного ассистента.
  • Помогает набирать текст в приложениях телефона, чтобы пользователь мог проверить его и отправить.

Быстрый старт

  1. 1

    Клонируйте репозиторий

    git clone https://github.com/zhongerxin/iPhone-use.git
  2. 2

    Перейдите в каталог проекта

    cd iPhone-use
  3. 3

    Запустите скрипт установки

    sh scripts/install.sh

Что важно знать

  • Требуются macOS, полная версия Xcode и iPhone, подключённый по USB.
  • Сначала необходимо подписать WebDriverAgent с помощью своей учётной записи Apple Developer и запустить его на собственном iPhone.
  • Проект предназначен преимущественно для использования в качестве плагина для Codex, WorkBuddy или Doubao, а не как самостоятельный инструмент.
  • В README указано, что репозиторий сейчас закрытый, поэтому потребуется доступ к GitHub или пакет с исходным кодом.

Темы

#ios#iphone#webdriveragent#automation#mcp#codex#ai-agent#usb

Частые вопросы

Что такое iPhone-use?
Плагин для Codex, WorkBuddy и Doubao, который позволяет AI-ассистенту управлять настоящим iPhone через USB с помощью WebDriverAgent и показывает экран в реальном времени. iPhone Use подключает AI-ассистента к настоящему iPhone, подключённому по USB. Получив задачу на естественном языке, ассистент может открывать приложения, читать содержимое экрана, нажимать, свайпать, вводить текст и собирать элементы списков, а виджет на боковой панели показывает экран телефона в реальном времени. Проект построен на WebDriverAgent (WDA), который работает на телефоне как служба автоматизации, и включает локальный MCP-сервер, навыки настройки и использования, а также виджет экрана.
iPhone-use можно использовать бесплатно? Какая у него лицензия?
iPhone-use распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.
iPhone-use всё ещё поддерживается?
Активно поддерживается. Последний коммит в iPhone-use — 16 окт. 2026 г..
Для чего можно использовать iPhone-use?
Позволяет AI-ассистенту открывать приложения на личном iPhone и выполнять многошаговые задачи. Собирает и упорядочивает содержимое списков в приложениях iPhone с помощью прокрутки. Позволяет тестировать и изучать сценарии работы iOS-приложений с помощью настольного ассистента. Помогает набирать текст в приложениях телефона, чтобы пользователь мог проверить его и отправить.
Как установить iPhone-use?
Клонируйте репозиторий: git clone https://github.com/zhongerxin/iPhone-use.git Перейдите в каталог проекта: cd iPhone-use Запустите скрипт установки: sh scripts/install.sh
Где скачать iPhone-use?
Исходный код и инструкции по установке — на GitHub: https://github.com/zhongerxin/iPhone-use

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты