simular-ai/Agent-S

这是什么？

核心功能

• 01通过鼠标、键盘和屏幕操作桌面与网页应用，无需为每个应用单独集成。
• 02支持 macOS、Windows 和 Linux。
• 03兼容 OpenAI、Anthropic、Gemini、OpenRouter 和 vLLM 等模型。
• 04使用独立的 grounding 模型（如 UI-TARS）定位屏幕元素。
• 05提供命令行工具和 Python SDK，可通过 pip 安装 gui-agents。
• 06可选的本地编码环境，用于执行 Python 和 Bash 代码。

适用场景

• 自动化桌面与网页应用中的重复性操作。
• 研究操作系统级计算机使用智能体，并在 OSWorld 上进行基准测试。
• 构建无需 API、直接驱动图形界面软件的自定义智能体。

快速上手

1. 1

   使用 pip 安装 gui-agents 包

   pip install gui-agents
2. 2

   安装 tesseract（macOS 上 pytesseract 所需）

   brew install tesseract
3. 3

   将模型 API 密钥设置为环境变量

   export OPENAI_API_KEY=<YOUR_API_KEY>
4. 4

   配置好 grounding 模型端点后，通过 CLI 运行 Agent S3

   agent_s --provider openai --model gpt-5-2025-08-07 --ground_provider huggingface --ground_url http://localhost:8080 --ground_model ui-tars-1.5-7b --grounding_width 1920 --grounding_height 1080

使用前须知

• !需要 UI-TARS-1.5-7B 等 grounding 模型，并依赖单独托管的端点。
• !该代理会控制真实的鼠标和键盘，且为单显示器设计。
• !可选的本地编码环境会在本机执行任意代码，请谨慎使用。
• !运行依赖 OpenAI、Anthropic 等服务商的付费模型 API 密钥。

标签

常见问题

Agent-S 是什么？

开源计算机使用智能体框架，通过鼠标、键盘和屏幕操作真实图形界面，完成桌面与网页应用中的任务。 Agent S 是一个用于构建计算机使用智能体的开源框架。给定一段自然语言任务，它会观察屏幕，并通过点击、输入和滚动在常见桌面及网页应用中完成工作，无需为每个应用做 API 集成或单独编写脚本。

Agent-S 可以免费使用吗？用的什么许可证？

Agent-S 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。

Agent-S 还在维护吗？

活跃维护中。Agent-S 最近一次提交是在 2026年10月8日。

Agent-S 适合用来做什么？

自动化桌面与网页应用中的重复性操作。 研究操作系统级计算机使用智能体，并在 OSWorld 上进行基准测试。 构建无需 API、直接驱动图形界面软件的自定义智能体。

Agent-S 怎么安装和运行？

使用 pip 安装 gui-agents 包: pip install gui-agents 安装 tesseract（macOS 上 pytesseract 所需）: brew install tesseract 将模型 API 密钥设置为环境变量: export OPENAI_API_KEY=<YOUR_API_KEY> 配置好 grounding 模型端点后，通过 CLI 运行 Agent S3: agent_s --provider openai --model gpt-5-2025-08-07 --ground_provider huggingface --ground_url http://localhost:8080 --ground_model ui-tars-1.5-7b --grounding_width 1920 --grounding_height 1080

在哪里获取 Agent-S？

源代码和安装说明在 GitHub 上：https://github.com/simular-ai/Agent-S