simular-ai/Agent-S

Что это?

Ключевые возможности

• 01Управляет настольными и веб-приложениями с помощью мыши, клавиатуры и изображения с экрана, без интеграции для каждого приложения.
• 02Поддерживает macOS, Windows и Linux.
• 03Работает с моделями OpenAI, Anthropic, Gemini, OpenRouter и vLLM.
• 04Использует отдельную grounding-модель (например, UI-TARS), чтобы находить элементы на экране.
• 05Предоставляет CLI и Python SDK; установить их можно через pip как пакет gui-agents.
• 06Включает необязательную локальную среду для выполнения кода на Python и Bash.

Сценарии использования

• Автоматизация повторяющихся задач в настольных и веб-приложениях.
• Исследование агентов, управляющих компьютером на уровне ОС, и их тестирование на OSWorld.
• Создание собственных агентов для управления GUI-приложениями без API.

Быстрый старт

1. 1

   Установите пакет gui-agents с помощью pip

   pip install gui-agents
2. 2

   Установите tesseract (он необходим для pytesseract в macOS)

   brew install tesseract
3. 3

   Задайте API-ключ модели в переменной окружения

   export OPENAI_API_KEY=<YOUR_API_KEY>
4. 4

   Запустите Agent S3 через CLI, предварительно настроив endpoint grounding-модели

   agent_s --provider openai --model gpt-5-2025-08-07 --ground_provider huggingface --ground_url http://localhost:8080 --ground_model ui-tars-1.5-7b --grounding_width 1920 --grounding_height 1080

Что важно знать

• !Требуется grounding-модель, например UI-TARS-1.5-7B, для которой нужен отдельный размещённый endpoint.
• !Агент управляет настоящими мышью и клавиатурой и рассчитан на работу с одним монитором.
• !Необязательная локальная среда программирования выполняет произвольный код на вашем компьютере, поэтому используйте её с осторожностью.
• !Для работы нужны платные API-ключи моделей от провайдеров, таких как OpenAI или Anthropic.

Темы

Частые вопросы

Что такое Agent-S?

Фреймворк с открытым исходным кодом для агентов, которые управляют настоящим GUI с помощью мыши, клавиатуры и экрана и выполняют задачи в настольных и веб-приложениях. Agent S — фреймворк с открытым исходным кодом для создания агентов, управляющих компьютером. Получив задачу на естественном языке, агент анализирует экран и выполняет её, нажимая кнопки, вводя текст и прокручивая страницы в обычных настольных и веб-приложениях — без интеграций с API и отдельных скриптов для каждого приложения.

Agent-S можно использовать бесплатно? Какая у него лицензия?

Agent-S распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.

Agent-S всё ещё поддерживается?

Активно поддерживается. Последний коммит в Agent-S — 8 окт. 2026 г..

Для чего можно использовать Agent-S?

Автоматизация повторяющихся задач в настольных и веб-приложениях. Исследование агентов, управляющих компьютером на уровне ОС, и их тестирование на OSWorld. Создание собственных агентов для управления GUI-приложениями без API.

Как установить Agent-S?

Установите пакет gui-agents с помощью pip: pip install gui-agents Установите tesseract (он необходим для pytesseract в macOS): brew install tesseract Задайте API-ключ модели в переменной окружения: export OPENAI_API_KEY=<YOUR_API_KEY> Запустите Agent S3 через CLI, предварительно настроив endpoint grounding-модели: agent_s --provider openai --model gpt-5-2025-08-07 --ground_provider huggingface --ground_url http://localhost:8080 --ground_model ui-tars-1.5-7b --grounding_width 1920 --grounding_height 1080

Где скачать Agent-S?

Исходный код и инструкции по установке — на GitHub: https://github.com/simular-ai/Agent-S