Repolode
Enviar
onehumanbeing

onehumanbeing/esp32-iphone-agent

Permite que um modelo de visão com IA opere um iPhone real usando uma placa ESP32-S3 de US$ 7, que funciona como receptor de tela AirPlay e mouse USB HID, sem precisar de um computador durante a execução.

Ver no GitHub
Estrelas
3,240
Forks
428
Issues abertas
14
Último commit
há 15 horas

O que é?

O ESP32 iPhone Agent é um sistema que permite a um modelo de IA controlar um iPhone físico. A placa ESP32-S3 funciona como receptor AirPlay, espelhando a tela do celular por Wi-Fi, e também é reconhecida pelo iPhone como um mouse e teclado USB padrão. Um app para iPhone no mesmo dispositivo decodifica o fluxo espelhado, envia capturas de tela para um modelo de visão compatível com OpenAI e executa toques, deslizes, digitação e pressionamentos de teclas com base nas respostas do modelo.

O projeto é voltado a configurações em que não há um Mac, uma conta de desenvolvedor ou jailbreak disponível. É preciso usar um Mac com Xcode uma vez para gravar o firmware da placa e compilar o app, mas não para executar o agente. Cada execução fica salva no celular para ser reproduzida passo a passo, e os rastros podem ser exportados para análise por outro agente.

O projeto usa a licença MIT, com exceção de um componente de firmware adaptado do UxPlay, que usa GPL-3.0. Os requisitos incluem iOS 18 ou posterior e dados celulares, pois o Wi-Fi do celular fica ocupado pelo hotspot da placa enquanto o agente está em execução.

Recursos principais

  • 01Recebe a tela do iPhone pelo Espelhamento de Tela do AirPlay, com o H.264 enviado ao app por BLE.
  • 02Funciona como mouse e teclado USB HID, usando o AssistiveTouch para toques e deslizes com o ponteiro.
  • 03Funciona com qualquer modelo de visão compatível com OpenAI, incluindo servidores auto-hospedados como vLLM e Ollama.
  • 04Executa etapas de planejamento e ação em segundo plano e pausa ou retoma quando a placa ou a conexão de espelhamento cai.
  • 05Salva cada execução para reprodução passo a passo e exportação de capturas de tela e ações.

Casos de uso

  • Prototipar um agente de IA que opera apps iOS sem precisar de um Mac ou de uma conta de desenvolvedor.
  • Automatizar tarefas repetitivas em um iPhone seu, como definir alarmes ou alterar ajustes.
  • Pesquisar agentes que interagem com computadores em um dispositivo físico, em vez de um simulador.
  • Coletar rastros de interações com o celular para análise por outro agente.

Tópicos

#ai-agent#esp32#iphone#usb-hid#airplay#computer-use#llm#automation#esp32-s3

Perguntas frequentes

O que é esp32-iphone-agent?
Permite que um modelo de visão com IA opere um iPhone real usando uma placa ESP32-S3 de US$ 7, que funciona como receptor de tela AirPlay e mouse USB HID, sem precisar de um computador durante a execução. O ESP32 iPhone Agent é um sistema que permite a um modelo de IA controlar um iPhone físico. A placa ESP32-S3 funciona como receptor AirPlay, espelhando a tela do celular por Wi-Fi, e também é reconhecida pelo iPhone como um mouse e teclado USB padrão. Um app para iPhone no mesmo dispositivo decodifica o fluxo espelhado, envia capturas de tela para um modelo de visão compatível com OpenAI e executa toques, deslizes, digitação e pressionamentos de teclas com base nas respostas do modelo.
esp32-iphone-agent é gratuito? Qual é a licença?
esp32-iphone-agent é open source sob a licença MIT. Confira os termos da licença antes de usá-lo em produtos comerciais.
esp32-iphone-agent ainda é mantido?
Manutenção ativa. O último commit de esp32-iphone-agent foi em 19 de out. de 2026.
Para que posso usar esp32-iphone-agent?
Prototipar um agente de IA que opera apps iOS sem precisar de um Mac ou de uma conta de desenvolvedor. Automatizar tarefas repetitivas em um iPhone seu, como definir alarmes ou alterar ajustes. Pesquisar agentes que interagem com computadores em um dispositivo físico, em vez de um simulador. Coletar rastros de interações com o celular para análise por outro agente.
Onde consigo esp32-iphone-agent?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/onehumanbeing/esp32-iphone-agent

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados