Repolode
Enviar
lycorp-jp

lycorp-jp/sim-use

CLI que permite a agentes de IA observar e interactuar con las pantallas del iOS Simulator y de emuladores o dispositivos Android mediante un único conjunto de comandos.

Ver en GitHub
Estrellas
1,447
Forks
104
Issues abiertos
23
Último commit
hace 6 horas

¿Qué es?

sim-use es una herramienta de línea de comandos multiplataforma que permite a los agentes de IA leer y controlar pantallas móviles. El comando `ui` convierte la pantalla actual en un esquema de texto compacto con elementos de accesibilidad y alias breves como @9; con `tap @9` se interactúa con ese elemento sin necesitar coordenadas. El ciclo de observar, actuar y verificar puede ejecutarse con los mismos verbos y opciones tanto en iOS Simulator como en emuladores o dispositivos Android.

En iOS usa las API de accesibilidad de Apple y la canalización HID de Simulator, con un daemon en segundo plano por dispositivo para reducir el costo de inicio de cada llamada. En Android se comunica con un APK puente instalado en el dispositivo mediante reenvío de adb. Otros comandos permiten introducir texto, pegar, realizar gestos, usar botones de hardware, tomar capturas de pantalla, grabar y transmitir video, consultar el estado de las apps y usar un Viewer web local. La compatibilidad experimental con iPhone y iPad físicos se limita a la observación basada en accesibilidad, los toques en elementos y las capturas de pantalla.

El proyecto está escrito en Swift, se compila desde el código fuente en macOS 14 o posterior y se puede instalar mediante Homebrew. También incluye una skill instalable para agentes de IA.

Funciones clave

  • 01Muestra las pantallas como un esquema de accesibilidad compacto en tokens con alias @N.
  • 02Permite tocar elementos por alias, identificador de accesibilidad o etiqueta, sin coordenadas.
  • 03Ofrece una interfaz de comandos común para iOS Simulator y emuladores o dispositivos Android.
  • 04Proporciona salida JSON con una estructura común para scripts y ciclos de agentes.
  • 05Graba videos y GIF, y transmite H.264 desde iOS y Android.
  • 06Incluye un Viewer web local para inspeccionar el árbol de accesibilidad.

Casos de uso

  • Permitir que un agente de programación con IA cree una app y luego verifique el resultado en un simulador.
  • Escribir comprobaciones automatizadas de UI que funcionen igual en iOS y Android.
  • Grabar GIF o videos de demostración de flujos de una app móvil desde la línea de comandos.
  • Inspeccionar qué elementos de una app están disponibles para los servicios de accesibilidad.

Inicio rápido

  1. 1

    Pulsa el tap de Homebrew

    brew tap lycorp-jp/tap
  2. 2

    Instala sim-use con Homebrew

    brew install lycorp-jp/tap/sim-use
  3. 3

    Comprueba que se ejecuta la CLI

    sim-use --help

Antes de usarlo

  • Las funciones de iOS Simulator requieren macOS, y para compilar desde el código fuente se necesitan macOS 14 o posterior y Xcode.
  • Para compilar desde el código fuente, hay que compilar localmente los idb XCFrameworks, que ocupan mucho, con ./scripts/build.sh dev.
  • La compatibilidad con Linux se limita al backend de Android; los verbos de iOS, la captura de vídeo y init solo están disponibles en macOS.
  • La compatibilidad con iPhone y iPad físicos es experimental y se limita a un subconjunto de verbos.

Temas

#ai-agents#mobile-automation#ios-simulator#android-emulator#accessibility#cli#ai-development

Preguntas frecuentes

¿Qué es sim-use?
CLI que permite a agentes de IA observar e interactuar con las pantallas del iOS Simulator y de emuladores o dispositivos Android mediante un único conjunto de comandos. sim-use es una herramienta de línea de comandos multiplataforma que permite a los agentes de IA leer y controlar pantallas móviles. El comando `ui` convierte la pantalla actual en un esquema de texto compacto con elementos de accesibilidad y alias breves como @9; con `tap @9` se interactúa con ese elemento sin necesitar coordenadas. El ciclo de observar, actuar y verificar puede ejecutarse con los mismos verbos y opciones tanto en iOS Simulator como en emuladores o dispositivos Android.
¿sim-use es gratuito? ¿Qué licencia tiene?
sim-use es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿sim-use sigue mantenido?
Mantenimiento activo. El último commit de sim-use fue el 21 oct 2026.
¿Para qué puedo usar sim-use?
Permitir que un agente de programación con IA cree una app y luego verifique el resultado en un simulador. Escribir comprobaciones automatizadas de UI que funcionen igual en iOS y Android. Grabar GIF o videos de demostración de flujos de una app móvil desde la línea de comandos. Inspeccionar qué elementos de una app están disponibles para los servicios de accesibilidad.
¿Cómo se instala sim-use?
Pulsa el tap de Homebrew: brew tap lycorp-jp/tap Instala sim-use con Homebrew: brew install lycorp-jp/tap/sim-use Comprueba que se ejecuta la CLI: sim-use --help
¿Dónde consigo sim-use?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/lycorp-jp/sim-use

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados