Repolode
Enviar
lycorp-jp

lycorp-jp/sim-use

Uma CLI que permite a agentes de IA observar e controlar telas do iOS Simulator e de emuladores ou dispositivos Android com um único conjunto de comandos.

Ver no GitHub
Estrelas
1,447
Forks
104
Issues abertas
23
Último commit
há 6 horas

O que é?

sim-use é uma ferramenta de linha de comando multiplataforma que permite a agentes de IA ler e controlar telas de dispositivos móveis. O comando `ui` transforma a tela atual em uma descrição textual compacta dos elementos de acessibilidade, com aliases curtos como @9; `tap @9` interage com esse elemento sem precisar de coordenadas. O ciclo observar, agir e verificar pode usar os mesmos verbos e flags no iOS Simulator e em emuladores ou dispositivos Android.

No iOS, a ferramenta usa as APIs de acessibilidade da Apple e o pipeline HID do Simulator, com um daemon em segundo plano por dispositivo para reduzir o custo de inicialização a cada chamada. No Android, ela se comunica com um APK de bridge instalado no dispositivo por meio do encaminhamento do adb. Outros comandos permitem inserir texto, colar conteúdo, executar gestos, acionar botões físicos, fazer capturas de tela, gravar e transmitir vídeo, consultar o estado dos apps e usar um Viewer web local. O suporte experimental a iPhones e iPads físicos se limita à observação baseada em acessibilidade, ao toque em elementos e a capturas de tela.

O projeto é escrito em Swift, compilado a partir do código-fonte no macOS 14+ e pode ser instalado pelo Homebrew. Também inclui uma skill de agente instalável para clientes de IA.

Recursos principais

  • 01Renderiza telas como uma descrição de acessibilidade econômica em tokens, com aliases @N.
  • 02Toca em elementos por alias, accessibility id ou label, sem precisar de coordenadas.
  • 03Oferece os mesmos comandos para o iOS Simulator e para emuladores ou dispositivos Android.
  • 04Fornece saída JSON com um envelope compartilhado para scripts e ciclos de agentes.
  • 05Grava vídeos e GIFs, além de transmitir H.264 no iOS e no Android.
  • 06Inclui um Viewer web local para inspecionar a árvore de acessibilidade.

Casos de uso

  • Permitir que um agente de programação com IA crie um app e depois verifique o resultado em um simulador.
  • Escrever verificações automatizadas de UI que funcionem da mesma forma no iOS e no Android.
  • Gravar GIFs ou vídeos de demonstração de fluxos de apps móveis pela linha de comando.
  • Inspecionar quais elementos de um app são expostos aos serviços de acessibilidade.

Início rápido

  1. 1

    Toque no tap do Homebrew

    brew tap lycorp-jp/tap
  2. 2

    Instale o sim-use com o Homebrew

    brew install lycorp-jp/tap/sim-use
  3. 3

    Verifique se a CLI é executada

    sim-use --help

Antes de usar

  • Os recursos do iOS Simulator exigem macOS, e a compilação a partir do código-fonte exige macOS 14 ou posterior e Xcode.
  • Para compilar a partir do código-fonte, é necessário compilar localmente os grandes idb XCFrameworks com ./scripts/build.sh dev.
  • O suporte a Linux abrange apenas o backend Android; verbos do iOS, captura de vídeo e init são exclusivos do macOS.
  • O suporte a iPhone e iPad físicos é experimental e limitado a um subconjunto de verbos.

Tópicos

#ai-agents#mobile-automation#ios-simulator#android-emulator#accessibility#cli#ai-development

Perguntas frequentes

O que é sim-use?
Uma CLI que permite a agentes de IA observar e controlar telas do iOS Simulator e de emuladores ou dispositivos Android com um único conjunto de comandos. sim-use é uma ferramenta de linha de comando multiplataforma que permite a agentes de IA ler e controlar telas de dispositivos móveis. O comando `ui` transforma a tela atual em uma descrição textual compacta dos elementos de acessibilidade, com aliases curtos como @9; `tap @9` interage com esse elemento sem precisar de coordenadas. O ciclo observar, agir e verificar pode usar os mesmos verbos e flags no iOS Simulator e em emuladores ou dispositivos Android.
sim-use é gratuito? Qual é a licença?
sim-use é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
sim-use ainda é mantido?
Manutenção ativa. O último commit de sim-use foi em 21 de out. de 2026.
Para que posso usar sim-use?
Permitir que um agente de programação com IA crie um app e depois verifique o resultado em um simulador. Escrever verificações automatizadas de UI que funcionem da mesma forma no iOS e no Android. Gravar GIFs ou vídeos de demonstração de fluxos de apps móveis pela linha de comando. Inspecionar quais elementos de um app são expostos aos serviços de acessibilidade.
Como instalar sim-use?
Toque no tap do Homebrew: brew tap lycorp-jp/tap Instale o sim-use com o Homebrew: brew install lycorp-jp/tap/sim-use Verifique se a CLI é executada: sim-use --help
Onde consigo sim-use?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/lycorp-jp/sim-use

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados