Repolode
Enviar
zhongerxin

zhongerxin/iPhone-use

Plugin para Codex, WorkBuddy y Doubao que permite a un asistente de IA manejar un iPhone real por USB mediante WebDriverAgent y ver la pantalla en tiempo real.

Ver en GitHub
Estrellas
4,342
Forks
425
Issues abiertos
25
Último commit
hace 4 días

¿Qué es?

iPhone Use conecta un asistente de IA a un iPhone real mediante USB. A partir de una tarea en lenguaje natural, el asistente puede abrir apps, leer la pantalla, tocar, deslizar, escribir texto y recopilar elementos de listas, mientras un widget en la barra lateral muestra la pantalla del teléfono en tiempo real. Está basado en WebDriverAgent (WDA), que se ejecuta en el teléfono como servicio de automatización, e incluye un servidor MCP local, instrucciones para la configuración y el uso, y el widget de pantalla.

La configuración requiere macOS, la versión completa de Xcode, Python 3.9+, Node.js y un iPhone. El usuario firma e inicia WDA Runner con su propio equipo de desarrollo de Apple. Un script de instalación registra el plugin en Codex y hay instaladores independientes para WorkBuddy y Doubao. Cuando falla la búsqueda de elementos, el asistente puede recurrir a capturas de pantalla y toques por coordenadas. La analítica está activada de forma predeterminada y se puede desactivar con una variable de entorno.

El proyecto ofrece 18 herramientas para el modelo, además de utilidades que solo muestran la pantalla. Estas cubren el diagnóstico del entorno, las acciones por lotes, el desplazamiento y la búsqueda, la recopilación de elementos de listas y una vía de entrada de texto compatible con Unicode. Un bloqueo de operación compartido evita que varios clientes controlen el mismo teléfono a la vez.

Funciones clave

  • 01Controla un iPhone real por USB mediante WebDriverAgent.
  • 02Proporciona al modelo árboles de accesibilidad compactos y capturas de pantalla.
  • 03Admite toques, deslizamientos, arrastre, entrada de texto Unicode y acciones por lotes.
  • 04Se desplaza por listas y recopila sus elementos, gestionando los solapamientos y eliminando duplicados.
  • 05Muestra un widget con la pantalla del teléfono en tiempo real y estados de pausa y control manual.
  • 06Se instala para Codex, WorkBuddy y Doubao mediante una configuración guiada.

Casos de uso

  • Permitir que un asistente de IA abra apps y complete tareas de varios pasos en un iPhone personal.
  • Recopilar u organizar contenido de listas en apps de iPhone mediante desplazamiento.
  • Probar o explorar flujos de apps de iOS desde un asistente de escritorio.
  • Redactar texto en apps del teléfono para que el usuario lo revise y lo envíe.

Inicio rápido

  1. 1

    Clona el repositorio

    git clone https://github.com/zhongerxin/iPhone-use.git
  2. 2

    Entra en el directorio del proyecto

    cd iPhone-use
  3. 3

    Ejecuta el script de instalación

    sh scripts/install.sh

Antes de usarlo

  • Requiere macOS, Xcode completo y un iPhone conectado por USB.
  • Primero debes firmar WebDriverAgent con tu cuenta de desarrollador de Apple y ejecutarlo en tu propio iPhone.
  • Está diseñado principalmente como complemento para Codex, WorkBuddy o Doubao, no como herramienta independiente.
  • El README indica que el repositorio es privado actualmente, así que se necesita acceso a GitHub o un paquete con el código fuente.

Temas

#ios#iphone#webdriveragent#automation#mcp#codex#ai-agent#usb

Preguntas frecuentes

¿Qué es iPhone-use?
Plugin para Codex, WorkBuddy y Doubao que permite a un asistente de IA manejar un iPhone real por USB mediante WebDriverAgent y ver la pantalla en tiempo real. iPhone Use conecta un asistente de IA a un iPhone real mediante USB. A partir de una tarea en lenguaje natural, el asistente puede abrir apps, leer la pantalla, tocar, deslizar, escribir texto y recopilar elementos de listas, mientras un widget en la barra lateral muestra la pantalla del teléfono en tiempo real. Está basado en WebDriverAgent (WDA), que se ejecuta en el teléfono como servicio de automatización, e incluye un servidor MCP local, instrucciones para la configuración y el uso, y el widget de pantalla.
¿iPhone-use es gratuito? ¿Qué licencia tiene?
iPhone-use es open source bajo la licencia MIT. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿iPhone-use sigue mantenido?
Mantenimiento activo. El último commit de iPhone-use fue el 16 oct 2026.
¿Para qué puedo usar iPhone-use?
Permitir que un asistente de IA abra apps y complete tareas de varios pasos en un iPhone personal. Recopilar u organizar contenido de listas en apps de iPhone mediante desplazamiento. Probar o explorar flujos de apps de iOS desde un asistente de escritorio. Redactar texto en apps del teléfono para que el usuario lo revise y lo envíe.
¿Cómo se instala iPhone-use?
Clona el repositorio: git clone https://github.com/zhongerxin/iPhone-use.git Entra en el directorio del proyecto: cd iPhone-use Ejecuta el script de instalación: sh scripts/install.sh
¿Dónde consigo iPhone-use?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/zhongerxin/iPhone-use

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados