Repolode
Enviar
zhongerxin

zhongerxin/iPhone-use

Plugin para Codex, WorkBuddy e Doubao que permite a um assistente de IA operar um iPhone real via USB usando WebDriverAgent, com prévia da tela ao vivo.

Ver no GitHub
Estrelas
4,342
Forks
425
Issues abertas
25
Último commit
há 4 dias

O que é?

O iPhone Use conecta um assistente de IA a um iPhone real conectado via USB. Com uma tarefa descrita em linguagem natural, o assistente pode abrir apps, ler a tela, tocar, deslizar, digitar texto e coletar itens de listas, enquanto um widget na barra lateral mostra a tela do celular ao vivo. O projeto é baseado no WebDriverAgent (WDA), que funciona no celular como serviço de automação, e inclui um servidor MCP local, skills de configuração e uso e o widget de tela.

A configuração requer macOS, Xcode completo, Python 3.9+, Node.js e um iPhone. O usuário assina e inicia o WDA Runner com sua própria equipe de desenvolvedores da Apple. Um script de instalação registra o plugin no Codex, e há instaladores separados para WorkBuddy e Doubao. Quando a busca por elementos falha, o assistente pode recorrer a capturas de tela e toques em coordenadas. A análise de uso fica ativada por padrão e pode ser desativada com uma variável de ambiente.

O projeto oferece 18 ferramentas para o modelo, além de auxiliares que usam apenas a tela, para diagnóstico do ambiente, ações em lote, rolagem e busca, coleta de listas e entrada de texto compatível com Unicode. Um bloqueio compartilhado de operações impede que vários hosts controlem o mesmo celular ao mesmo tempo.

Recursos principais

  • 01Controla um iPhone real via USB usando WebDriverAgent.
  • 02Lê árvores de acessibilidade compactas e capturas de tela para o modelo.
  • 03Oferece suporte a toques, deslizes, arrastar, entrada de texto Unicode e ações em lote.
  • 04Rola a tela e coleta itens de listas, tratando sobreposições e eliminando duplicatas.
  • 05Exibe um widget com a tela do celular ao vivo e estados de pausa e controle pelo usuário.
  • 06Instala o plugin para Codex, WorkBuddy e Doubao com configuração guiada.

Casos de uso

  • Permitir que um assistente de IA abra apps e conclua tarefas com várias etapas em um iPhone pessoal.
  • Coletar ou organizar conteúdo de listas em apps do iPhone usando a rolagem.
  • Testar ou explorar fluxos de apps iOS usando um assistente no computador.
  • Redigir textos em apps do celular para que o usuário revise e envie.

Início rápido

  1. 1

    Clone o repositório

    git clone https://github.com/zhongerxin/iPhone-use.git
  2. 2

    Acesse o diretório do projeto

    cd iPhone-use
  3. 3

    Execute o script de instalação

    sh scripts/install.sh

Antes de usar

  • Requer macOS, Xcode completo e um iPhone conectado por USB.
  • Primeiro, você precisa assinar o WebDriverAgent com sua conta de desenvolvedor da Apple e executá-lo no seu próprio iPhone.
  • Foi projetado principalmente como um plug-in para Codex, WorkBuddy ou Doubao, e não como uma ferramenta independente.
  • O README informa que o repositório está privado no momento; portanto, é necessário ter acesso ao GitHub ou um pacote com o código-fonte.

Tópicos

#ios#iphone#webdriveragent#automation#mcp#codex#ai-agent#usb

Perguntas frequentes

O que é iPhone-use?
Plugin para Codex, WorkBuddy e Doubao que permite a um assistente de IA operar um iPhone real via USB usando WebDriverAgent, com prévia da tela ao vivo. O iPhone Use conecta um assistente de IA a um iPhone real conectado via USB. Com uma tarefa descrita em linguagem natural, o assistente pode abrir apps, ler a tela, tocar, deslizar, digitar texto e coletar itens de listas, enquanto um widget na barra lateral mostra a tela do celular ao vivo. O projeto é baseado no WebDriverAgent (WDA), que funciona no celular como serviço de automação, e inclui um servidor MCP local, skills de configuração e uso e o widget de tela.
iPhone-use é gratuito? Qual é a licença?
iPhone-use é open source sob a licença MIT. Confira os termos da licença antes de usá-lo em produtos comerciais.
iPhone-use ainda é mantido?
Manutenção ativa. O último commit de iPhone-use foi em 16 de out. de 2026.
Para que posso usar iPhone-use?
Permitir que um assistente de IA abra apps e conclua tarefas com várias etapas em um iPhone pessoal. Coletar ou organizar conteúdo de listas em apps do iPhone usando a rolagem. Testar ou explorar fluxos de apps iOS usando um assistente no computador. Redigir textos em apps do celular para que o usuário revise e envie.
Como instalar iPhone-use?
Clone o repositório: git clone https://github.com/zhongerxin/iPhone-use.git Acesse o diretório do projeto: cd iPhone-use Execute o script de instalação: sh scripts/install.sh
Onde consigo iPhone-use?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/zhongerxin/iPhone-use

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados