CLI для macOS и навык AI-агента: выводит на экран крупные стрелки, рамки и таблички, чтобы указать на элементы интерфейса, не нажимая и не захватывая экран.
lycorp-jp/sim-use
CLI для AI-агентов, позволяющий просматривать экраны iOS Simulator и Android-эмуляторов или устройств и управлять ими с помощью единого набора команд.
- Звёзды
- 1,447
- Форки
- 104
- Открытые issues
- 23
- Последний коммит
- 4 часа назад
Что это?
sim-use — кроссплатформенный инструмент командной строки, с помощью которого AI-агенты могут читать содержимое экранов мобильных устройств и управлять ими. Команда `ui` преобразует текущий экран в компактный текстовый список элементов accessibility с короткими псевдонимами, например @9, а команда `tap @9` нажимает на нужный элемент без координат. Цикл «наблюдать, действовать, проверять» можно выполнять с помощью одинаковых команд и флагов и в iOS Simulator, и на Android-эмуляторах или устройствах.
В iOS используются Accessibility API от Apple и конвейер Simulator HID; фоновый демон для каждого устройства сокращает затраты на запуск при каждом вызове. В Android инструмент взаимодействует с установленным на устройстве APK-мостом через adb forwarding. Другие команды позволяют вводить и вставлять текст, выполнять жесты, нажимать аппаратные кнопки, делать снимки экрана, записывать и транслировать видео, проверять состояние приложений и открывать локальный веб-просмотрщик Viewer. Экспериментальная поддержка физических iPhone и iPad ограничена наблюдением на основе accessibility, нажатием на элементы и созданием снимков экрана.
Проект написан на Swift, собирается из исходников на macOS 14+ и устанавливается через Homebrew. В него также входит устанавливаемый skill для AI-клиентов.
Ключевые возможности
- 01Преобразует экраны в компактный по числу токенов список элементов accessibility с псевдонимами @N.
- 02Нажимает на элементы по псевдониму, accessibility id или метке без указания координат.
- 03Предоставляет единый набор команд для iOS Simulator и Android-эмуляторов или устройств.
- 04Поддерживает вывод JSON с общей структурой для скриптов и циклов работы агентов.
- 05Записывает видео и GIF, а также передаёт поток H.264 с iOS и Android.
- 06Включает локальный веб-просмотрщик Viewer для изучения дерева accessibility.
Сценарии использования
- Позволяет AI-агенту для написания кода создать приложение, а затем проверить результат в симуляторе.
- Создание автоматизированных проверок UI, одинаково работающих на iOS и Android.
- Запись демонстрационных GIF или видео с последовательностями действий в мобильном приложении из командной строки.
- Изучение того, какие элементы приложения доступны службам accessibility.
Быстрый старт
- 1
Нажмите на tap Homebrew
brew tap lycorp-jp/tap - 2
Установите sim-use с помощью Homebrew
brew install lycorp-jp/tap/sim-use - 3
Проверьте, что CLI запускается
sim-use --help
Что важно знать
- Для функций iOS Simulator требуется macOS, а для сборки из исходного кода нужны macOS 14 или новее и Xcode.
- Для сборки из исходного кода необходимо локально собрать объёмные idb XCFrameworks с помощью ./scripts/build.sh dev.
- Поддержка Linux охватывает только бэкенд Android; глаголы iOS, захват видео и init доступны только в macOS.
- Поддержка физических iPhone и iPad экспериментальная и ограничена частью глаголов.
Темы
Частые вопросы
- Что такое sim-use?
- CLI для AI-агентов, позволяющий просматривать экраны iOS Simulator и Android-эмуляторов или устройств и управлять ими с помощью единого набора команд. sim-use — кроссплатформенный инструмент командной строки, с помощью которого AI-агенты могут читать содержимое экранов мобильных устройств и управлять ими. Команда `ui` преобразует текущий экран в компактный текстовый список элементов accessibility с короткими псевдонимами, например @9, а команда `tap @9` нажимает на нужный элемент без координат. Цикл «наблюдать, действовать, проверять» можно выполнять с помощью одинаковых команд и флагов и в iOS Simulator, и на Android-эмуляторах или устройствах.
- sim-use можно использовать бесплатно? Какая у него лицензия?
- sim-use распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
- sim-use всё ещё поддерживается?
- Активно поддерживается. Последний коммит в sim-use — 21 окт. 2026 г..
- Для чего можно использовать sim-use?
- Позволяет AI-агенту для написания кода создать приложение, а затем проверить результат в симуляторе. Создание автоматизированных проверок UI, одинаково работающих на iOS и Android. Запись демонстрационных GIF или видео с последовательностями действий в мобильном приложении из командной строки. Изучение того, какие элементы приложения доступны службам accessibility.
- Как установить sim-use?
- Нажмите на tap Homebrew: brew tap lycorp-jp/tap Установите sim-use с помощью Homebrew: brew install lycorp-jp/tap/sim-use Проверьте, что CLI запускается: sim-use --help
- Где скачать sim-use?
- Исходный код и инструкции по установке — на GitHub: https://github.com/lycorp-jp/sim-use
Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.
Похожие проекты
Нативный CLI на Rust, с помощью которого AI-агенты управляют Chrome через снимки страниц, ссылки на элементы и команды автоматизации.
Фреймворк с открытым исходным кодом на Python, в котором LLM-агенты управляют устройствами Android и iOS с помощью естественного языка, CLI или Python API.
CLI и каталог готовых агентов, команд, настроек, хуков и интеграций MCP для конфигурирования Claude Code.
Rust CLI для управления git worktree по имени ветки, созданный для параллельной работы нескольких AI-агентов над кодом.
MCP-сервер и CLI с инструментами для AI-агентов: сборка, тестирование и запуск проектов iOS и macOS в Xcode.