Repolode
simular-ai

simular-ai/Agent-S

デスクトップやWebアプリでマウス、キーボード、画面を操作し、タスクを完了するオープンソースのコンピューター操作エージェントフレームワーク。

スター
12,660
フォーク
1,707
未解決の Issue
64
最終コミット
12 日前

これは何?

Agent Sは、コンピューター操作エージェントを構築するためのオープンソースフレームワークです。自然言語でタスクを指示すると、画面を確認し、通常のデスクトップアプリやWebアプリ上でクリック、入力、スクロールを行って作業を完了します。API連携やアプリごとのスクリプトは必要ありません。

現行世代のAgent S3は、OSWorldベンチマークで72.60%を記録しています。macOS、Windows、Linuxで動作し、OpenAI、Anthropic、Gemini、OpenRouter、vLLMのモデルを利用できます。また、UI-TARSなどの別個のグラウンディングモデルと組み合わせて、画面上の要素を特定できます。pipでgui-agentsパッケージとしてインストールでき、CLIまたはPython SDKから実行できます。

このフレームワークには、データ処理やファイル操作のためにエージェントがPythonやBashのコードを実行できる、オプションのローカルコーディング環境が含まれています。この機能はユーザーの権限で任意のコードを実行するため、信頼できる環境でのみ使用するよう、プロジェクトは注意を促しています。

主な機能

  • 01アプリごとの連携設定なしで、マウス、キーボード、画面を通じてデスクトップアプリやWebアプリを操作。
  • 02macOS、Windows、Linuxに対応。
  • 03OpenAI、Anthropic、Gemini、OpenRouter、vLLMのモデルを利用可能。
  • 04画面上の要素を特定するため、UI-TARSなどの別個のグラウンディングモデルを使用。
  • 05CLIとPython SDKを提供。pipでgui-agentsとしてインストール可能。
  • 06PythonやBashのコードを実行するためのオプションのローカル環境を搭載。

ユースケース

  • デスクトップアプリやWebアプリにまたがる反復作業の自動化。
  • OSレベルのコンピューター操作エージェントの研究や、OSWorldでのベンチマーク。
  • APIを使わずにGUIソフトウェアを操作するカスタムエージェントの構築。

クイックスタート

  1. 1

    pipでgui-agentsパッケージをインストールします

    pip install gui-agents
  2. 2

    tesseractをインストールします(macOSではpytesseractに必要です)

    brew install tesseract
  3. 3

    モデルのAPIキーを環境変数に設定します

    export OPENAI_API_KEY=<YOUR_API_KEY>
  4. 4

    groundingモデルのエンドポイントを設定して、CLIからAgent S3を実行します

    agent_s --provider openai --model gpt-5-2025-08-07 --ground_provider huggingface --ground_url http://localhost:8080 --ground_model ui-tars-1.5-7b --grounding_width 1920 --grounding_height 1080

使う前に知っておきたいこと

  • UI-TARS-1.5-7Bなどのgroundingモデルが必要で、別途ホスト型エンドポイントを用意する必要があります。
  • エージェントは実際のマウスとキーボードを操作するため、シングルモニター環境向けに設計されています。
  • オプションのローカルコーディング環境はマシン上で任意のコードを実行するため、注意して使用してください。
  • 実行には、OpenAIやAnthropicなどのプロバイダーが発行する有料モデルAPIキーが必要です。

トピック

よくある質問

Agent-S とは?
デスクトップやWebアプリでマウス、キーボード、画面を操作し、タスクを完了するオープンソースのコンピューター操作エージェントフレームワーク。 Agent Sは、コンピューター操作エージェントを構築するためのオープンソースフレームワークです。自然言語でタスクを指示すると、画面を確認し、通常のデスクトップアプリやWebアプリ上でクリック、入力、スクロールを行って作業を完了します。API連携やアプリごとのスクリプトは必要ありません。
Agent-S は無料で使えますか?ライセンスは?
Agent-S は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
Agent-S は今もメンテナンスされていますか?
活発にメンテナンス中。Agent-S の最終コミットは 2026年10月8日 です。
Agent-S は何に使えますか?
デスクトップアプリやWebアプリにまたがる反復作業の自動化。 OSレベルのコンピューター操作エージェントの研究や、OSWorldでのベンチマーク。 APIを使わずにGUIソフトウェアを操作するカスタムエージェントの構築。
Agent-S のインストール方法は?
pipでgui-agentsパッケージをインストールします: pip install gui-agents tesseractをインストールします(macOSではpytesseractに必要です): brew install tesseract モデルのAPIキーを環境変数に設定します: export OPENAI_API_KEY=<YOUR_API_KEY> groundingモデルのエンドポイントを設定して、CLIからAgent S3を実行します: agent_s --provider openai --model gpt-5-2025-08-07 --ground_provider huggingface --ground_url http://localhost:8080 --ground_model ui-tars-1.5-7b --grounding_width 1920 --grounding_height 1080
Agent-S はどこで入手できますか?
ソースコードとインストール手順は GitHub にあります:https://github.com/simular-ai/Agent-S

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト