Repolode
Enviar
onehumanbeing

onehumanbeing/esp32-iphone-agent

Permite que un modelo de visión con IA controle un iPhone real mediante una placa ESP32-S3 de 7 USD que actúa como receptor de pantalla AirPlay y mouse USB HID, sin necesitar una computadora durante la ejecución.

Ver en GitHub
Estrellas
3,240
Forks
428
Issues abiertos
14
Último commit
hace 15 horas

¿Qué es?

ESP32 iPhone Agent es un sistema que permite que un modelo de IA controle un iPhone físico. La placa ESP32-S3 funciona como receptor AirPlay, de modo que la pantalla del teléfono se duplica en ella por Wi-Fi; además, el teléfono la reconoce como un mouse y un teclado USB estándar. Una app de iPhone en el mismo dispositivo decodifica la transmisión duplicada, envía capturas de pantalla a un modelo de visión compatible con OpenAI y ejecuta toques, deslizamientos, escritura y pulsaciones de teclas según las respuestas del modelo.

El proyecto está pensado para configuraciones en las que no se dispone de una Mac, una cuenta de desarrollador ni acceso mediante jailbreak. Para flashear la placa y compilar la app se necesita una Mac con Xcode una sola vez, pero no para ejecutar el agente. Cada ejecución se guarda en el teléfono para poder reproducirla paso a paso, y las trazas se pueden exportar para que otro agente las analice.

El proyecto cuenta con licencia MIT, excepto un componente de firmware adaptado de UxPlay, que usa la licencia GPL-3.0. Entre los requisitos se incluyen iOS 18 o posterior y datos móviles, porque mientras se ejecuta el agente, el Wi-Fi del teléfono se usa para el punto de acceso de la placa.

Funciones clave

  • 01Recibe la pantalla del iPhone mediante AirPlay Screen Mirroring y retransmite el video H.264 a la app por BLE.
  • 02Funciona como mouse y teclado USB HID; usa AssistiveTouch para realizar toques y deslizamientos con el puntero.
  • 03Es compatible con cualquier modelo de visión compatible con OpenAI, incluidos servidores autohospedados como vLLM y Ollama.
  • 04Ejecuta pasos de planificación y acción en segundo plano, y se pausa o reanuda si se interrumpe la conexión con la placa o la duplicación de pantalla.
  • 05Guarda cada ejecución para reproducirla paso a paso y exportar capturas de pantalla y acciones.

Casos de uso

  • Crear prototipos de un agente de IA que opere apps de iOS sin una Mac ni una cuenta de desarrollador.
  • Automatizar tareas repetitivas en un iPhone propio, como configurar alarmas o cambiar ajustes.
  • Investigar agentes capaces de usar una computadora en un dispositivo físico en lugar de un simulador.
  • Recopilar trazas de interacciones con el teléfono para que otro agente las analice.

Temas

#ai-agent#esp32#iphone#usb-hid#airplay#computer-use#llm#automation#esp32-s3

Preguntas frecuentes

¿Qué es esp32-iphone-agent?
Permite que un modelo de visión con IA controle un iPhone real mediante una placa ESP32-S3 de 7 USD que actúa como receptor de pantalla AirPlay y mouse USB HID, sin necesitar una computadora durante la ejecución. ESP32 iPhone Agent es un sistema que permite que un modelo de IA controle un iPhone físico. La placa ESP32-S3 funciona como receptor AirPlay, de modo que la pantalla del teléfono se duplica en ella por Wi-Fi; además, el teléfono la reconoce como un mouse y un teclado USB estándar. Una app de iPhone en el mismo dispositivo decodifica la transmisión duplicada, envía capturas de pantalla a un modelo de visión compatible con OpenAI y ejecuta toques, deslizamientos, escritura y pulsaciones de teclas según las respuestas del modelo.
¿esp32-iphone-agent es gratuito? ¿Qué licencia tiene?
esp32-iphone-agent es open source bajo la licencia MIT. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿esp32-iphone-agent sigue mantenido?
Mantenimiento activo. El último commit de esp32-iphone-agent fue el 19 oct 2026.
¿Para qué puedo usar esp32-iphone-agent?
Crear prototipos de un agente de IA que opere apps de iOS sin una Mac ni una cuenta de desarrollador. Automatizar tareas repetitivas en un iPhone propio, como configurar alarmas o cambiar ajustes. Investigar agentes capaces de usar una computadora en un dispositivo físico en lugar de un simulador. Recopilar trazas de interacciones con el teléfono para que otro agente las analice.
¿Dónde consigo esp32-iphone-agent?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/onehumanbeing/esp32-iphone-agent

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados