Repolode
lycorp-jp

lycorp-jp/sim-use

CLI для AI-агентов, позволяющий просматривать экраны iOS Simulator и Android-эмуляторов или устройств и управлять ими с помощью единого набора команд.

Звёзды
1,447
Форки
104
Открытые issues
23
Последний коммит
4 часа назад

Что это?

sim-use — кроссплатформенный инструмент командной строки, с помощью которого AI-агенты могут читать содержимое экранов мобильных устройств и управлять ими. Команда `ui` преобразует текущий экран в компактный текстовый список элементов accessibility с короткими псевдонимами, например @9, а команда `tap @9` нажимает на нужный элемент без координат. Цикл «наблюдать, действовать, проверять» можно выполнять с помощью одинаковых команд и флагов и в iOS Simulator, и на Android-эмуляторах или устройствах.

В iOS используются Accessibility API от Apple и конвейер Simulator HID; фоновый демон для каждого устройства сокращает затраты на запуск при каждом вызове. В Android инструмент взаимодействует с установленным на устройстве APK-мостом через adb forwarding. Другие команды позволяют вводить и вставлять текст, выполнять жесты, нажимать аппаратные кнопки, делать снимки экрана, записывать и транслировать видео, проверять состояние приложений и открывать локальный веб-просмотрщик Viewer. Экспериментальная поддержка физических iPhone и iPad ограничена наблюдением на основе accessibility, нажатием на элементы и созданием снимков экрана.

Проект написан на Swift, собирается из исходников на macOS 14+ и устанавливается через Homebrew. В него также входит устанавливаемый skill для AI-клиентов.

Ключевые возможности

  • 01Преобразует экраны в компактный по числу токенов список элементов accessibility с псевдонимами @N.
  • 02Нажимает на элементы по псевдониму, accessibility id или метке без указания координат.
  • 03Предоставляет единый набор команд для iOS Simulator и Android-эмуляторов или устройств.
  • 04Поддерживает вывод JSON с общей структурой для скриптов и циклов работы агентов.
  • 05Записывает видео и GIF, а также передаёт поток H.264 с iOS и Android.
  • 06Включает локальный веб-просмотрщик Viewer для изучения дерева accessibility.

Сценарии использования

  • Позволяет AI-агенту для написания кода создать приложение, а затем проверить результат в симуляторе.
  • Создание автоматизированных проверок UI, одинаково работающих на iOS и Android.
  • Запись демонстрационных GIF или видео с последовательностями действий в мобильном приложении из командной строки.
  • Изучение того, какие элементы приложения доступны службам accessibility.

Быстрый старт

  1. 1

    Нажмите на tap Homebrew

    brew tap lycorp-jp/tap
  2. 2

    Установите sim-use с помощью Homebrew

    brew install lycorp-jp/tap/sim-use
  3. 3

    Проверьте, что CLI запускается

    sim-use --help

Что важно знать

  • Для функций iOS Simulator требуется macOS, а для сборки из исходного кода нужны macOS 14 или новее и Xcode.
  • Для сборки из исходного кода необходимо локально собрать объёмные idb XCFrameworks с помощью ./scripts/build.sh dev.
  • Поддержка Linux охватывает только бэкенд Android; глаголы iOS, захват видео и init доступны только в macOS.
  • Поддержка физических iPhone и iPad экспериментальная и ограничена частью глаголов.

Темы

Частые вопросы

Что такое sim-use?
CLI для AI-агентов, позволяющий просматривать экраны iOS Simulator и Android-эмуляторов или устройств и управлять ими с помощью единого набора команд. sim-use — кроссплатформенный инструмент командной строки, с помощью которого AI-агенты могут читать содержимое экранов мобильных устройств и управлять ими. Команда `ui` преобразует текущий экран в компактный текстовый список элементов accessibility с короткими псевдонимами, например @9, а команда `tap @9` нажимает на нужный элемент без координат. Цикл «наблюдать, действовать, проверять» можно выполнять с помощью одинаковых команд и флагов и в iOS Simulator, и на Android-эмуляторах или устройствах.
sim-use можно использовать бесплатно? Какая у него лицензия?
sim-use распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
sim-use всё ещё поддерживается?
Активно поддерживается. Последний коммит в sim-use — 21 окт. 2026 г..
Для чего можно использовать sim-use?
Позволяет AI-агенту для написания кода создать приложение, а затем проверить результат в симуляторе. Создание автоматизированных проверок UI, одинаково работающих на iOS и Android. Запись демонстрационных GIF или видео с последовательностями действий в мобильном приложении из командной строки. Изучение того, какие элементы приложения доступны службам accessibility.
Как установить sim-use?
Нажмите на tap Homebrew: brew tap lycorp-jp/tap Установите sim-use с помощью Homebrew: brew install lycorp-jp/tap/sim-use Проверьте, что CLI запускается: sim-use --help
Где скачать sim-use?
Исходный код и инструкции по установке — на GitHub: https://github.com/lycorp-jp/sim-use

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты