AIエージェントやワークフローの構築・テスト・デプロイを行えるビジュアルプラットフォーム。APIやMCPサーバーとしても公開できます。
simular-ai/Agent-S
デスクトップやWebアプリでマウス、キーボード、画面を操作し、タスクを完了するオープンソースのコンピューター操作エージェントフレームワーク。
- スター
- 12,660
- フォーク
- 1,707
- 未解決の Issue
- 64
- 最終コミット
- 12 日前
これは何?
Agent Sは、コンピューター操作エージェントを構築するためのオープンソースフレームワークです。自然言語でタスクを指示すると、画面を確認し、通常のデスクトップアプリやWebアプリ上でクリック、入力、スクロールを行って作業を完了します。API連携やアプリごとのスクリプトは必要ありません。
現行世代のAgent S3は、OSWorldベンチマークで72.60%を記録しています。macOS、Windows、Linuxで動作し、OpenAI、Anthropic、Gemini、OpenRouter、vLLMのモデルを利用できます。また、UI-TARSなどの別個のグラウンディングモデルと組み合わせて、画面上の要素を特定できます。pipでgui-agentsパッケージとしてインストールでき、CLIまたはPython SDKから実行できます。
このフレームワークには、データ処理やファイル操作のためにエージェントがPythonやBashのコードを実行できる、オプションのローカルコーディング環境が含まれています。この機能はユーザーの権限で任意のコードを実行するため、信頼できる環境でのみ使用するよう、プロジェクトは注意を促しています。
主な機能
- 01アプリごとの連携設定なしで、マウス、キーボード、画面を通じてデスクトップアプリやWebアプリを操作。
- 02macOS、Windows、Linuxに対応。
- 03OpenAI、Anthropic、Gemini、OpenRouter、vLLMのモデルを利用可能。
- 04画面上の要素を特定するため、UI-TARSなどの別個のグラウンディングモデルを使用。
- 05CLIとPython SDKを提供。pipでgui-agentsとしてインストール可能。
- 06PythonやBashのコードを実行するためのオプションのローカル環境を搭載。
ユースケース
- デスクトップアプリやWebアプリにまたがる反復作業の自動化。
- OSレベルのコンピューター操作エージェントの研究や、OSWorldでのベンチマーク。
- APIを使わずにGUIソフトウェアを操作するカスタムエージェントの構築。
クイックスタート
- 1
pipでgui-agentsパッケージをインストールします
pip install gui-agents - 2
tesseractをインストールします(macOSではpytesseractに必要です)
brew install tesseract - 3
モデルのAPIキーを環境変数に設定します
export OPENAI_API_KEY=<YOUR_API_KEY> - 4
groundingモデルのエンドポイントを設定して、CLIからAgent S3を実行します
agent_s --provider openai --model gpt-5-2025-08-07 --ground_provider huggingface --ground_url http://localhost:8080 --ground_model ui-tars-1.5-7b --grounding_width 1920 --grounding_height 1080
使う前に知っておきたいこと
- UI-TARS-1.5-7Bなどのgroundingモデルが必要で、別途ホスト型エンドポイントを用意する必要があります。
- エージェントは実際のマウスとキーボードを操作するため、シングルモニター環境向けに設計されています。
- オプションのローカルコーディング環境はマシン上で任意のコードを実行するため、注意して使用してください。
- 実行には、OpenAIやAnthropicなどのプロバイダーが発行する有料モデルAPIキーが必要です。
トピック
よくある質問
- Agent-S とは?
- デスクトップやWebアプリでマウス、キーボード、画面を操作し、タスクを完了するオープンソースのコンピューター操作エージェントフレームワーク。 Agent Sは、コンピューター操作エージェントを構築するためのオープンソースフレームワークです。自然言語でタスクを指示すると、画面を確認し、通常のデスクトップアプリやWebアプリ上でクリック、入力、スクロールを行って作業を完了します。API連携やアプリごとのスクリプトは必要ありません。
- Agent-S は無料で使えますか?ライセンスは?
- Agent-S は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
- Agent-S は今もメンテナンスされていますか?
- 活発にメンテナンス中。Agent-S の最終コミットは 2026年10月8日 です。
- Agent-S は何に使えますか?
- デスクトップアプリやWebアプリにまたがる反復作業の自動化。 OSレベルのコンピューター操作エージェントの研究や、OSWorldでのベンチマーク。 APIを使わずにGUIソフトウェアを操作するカスタムエージェントの構築。
- Agent-S のインストール方法は?
- pipでgui-agentsパッケージをインストールします: pip install gui-agents tesseractをインストールします(macOSではpytesseractに必要です): brew install tesseract モデルのAPIキーを環境変数に設定します: export OPENAI_API_KEY=<YOUR_API_KEY> groundingモデルのエンドポイントを設定して、CLIからAgent S3を実行します: agent_s --provider openai --model gpt-5-2025-08-07 --ground_provider huggingface --ground_url http://localhost:8080 --ground_model ui-tars-1.5-7b --grounding_width 1920 --grounding_height 1080
- Agent-S はどこで入手できますか?
- ソースコードとインストール手順は GitHub にあります:https://github.com/simular-ai/Agent-S
概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。
関連プロジェクト
ロールベースの自律型AIエージェント(Crews)とイベント駆動型ワークフロー(Flows)をオーケストレーションする、オープンソースのPythonフレームワーク。
ByteDance発のオープンソースなマルチモーダルAIエージェント基盤。CLI/Web UIのAgent TARSと、デスクトップGUIエージェントアプリのUI-TARS Desktopを提供。
AIエージェントに1,000以上の認証済みアプリツールキット、ユーザーごとのセッション、アクション実行用サンドボックスを提供するTypeScript・Python SDK。
Playwright風APIと自然言語のact・observe・extract呼び出しでChromeを操作する、ブラウザーエージェント向けTypeScript・Python・Go SDK。
LLMアプリケーションをツール、データ、プロンプトに接続するModel Context Protocolサーバーとクライアントを構築するための公式Python SDK。