openclaw/Peekaboo

これは何？

主な機能

• 01画面全体、単一のアプリ、または特定のウィンドウをPNGファイルにキャプチャします。
• 02実行中のアプリを対象とした構造化UIマップを作成し、操作対象を指定するための要素IDを付与します。
• 03特定の要素やウィンドウに対して、クリック、文字入力、キー入力、スクロール、ドラッグを実行します。
• 04自然言語のリクエストを複数ステップの操作に変換するエージェントを実行します。
• 05MCPサーバーを通じてAIクライアントにツールを提供します。
• 06対象ウィンドウへのバックグラウンド入力に対応しています。

ユースケース

• AIエージェントにSafariやFinderなどのmacOSネイティブアプリを操作させる。
• スクリプト用APIを使わずに、デスクトップソフトで繰り返し発生するクリックや文字入力を自動化する。
• ドキュメント作成、テスト、バグ報告用にアプリやウィンドウのスクリーンショットを撮る。
• MCP対応のコーディングアシスタントにUIの状態を検査・確認する機能を持たせる。

クイックスタート

1. 1

   HomebrewでCLIをインストールする

   brew install openclaw/tap/peekaboo
2. 2

   Peekabooに付与されている権限を確認する

   peekaboo permissions status
3. 3

   画面のスクリーンショットを撮る

   peekaboo see --no-elements --mode screen --path /tmp/peekaboo-screen.png
4. 4

   実行中のアプリを調べて、構造化されたUIマップを取得する

   peekaboo see --app Finder --json

使う前に知っておきたいこと

• !macOS 15以降が必要なため、WindowsやLinuxでは動作しません。
• !完全に動作させるには、事前に「画面収録」と「アクセシビリティ」の権限を手動で付与する必要があります。
• !エージェントを実行するには、モデルプロバイダーの設定が必要です。

トピック

よくある質問

Peekaboo とは？

画面やアプリウィンドウのキャプチャ、UI要素の検査、AIエージェントやMCPクライアント向けのクリック・入力自動化ができるmacOS CLI／メニューバーアプリ。 Peekabooは、画面キャプチャ、アクセシビリティ検査、ネイティブUIの自動化に対応したmacOS向けコマンドラインツール兼メニューバーアプリです。一般的な操作の流れでは、まず現在の画面を確認し、不透明なIDが付いた構造化UIマップから要素を選んで、クリック、文字入力、キー入力、スクロール、メニュー操作を実行します。

Peekaboo は無料で使えますか？ライセンスは？

Peekaboo は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

Peekaboo は今もメンテナンスされていますか？

活発にメンテナンス中。Peekaboo の最終コミットは 2026年10月20日 です。

Peekaboo は何に使えますか？

AIエージェントにSafariやFinderなどのmacOSネイティブアプリを操作させる。 スクリプト用APIを使わずに、デスクトップソフトで繰り返し発生するクリックや文字入力を自動化する。 ドキュメント作成、テスト、バグ報告用にアプリやウィンドウのスクリーンショットを撮る。 MCP対応のコーディングアシスタントにUIの状態を検査・確認する機能を持たせる。

Peekaboo のインストール方法は？

HomebrewでCLIをインストールする: brew install openclaw/tap/peekaboo Peekabooに付与されている権限を確認する: peekaboo permissions status 画面のスクリーンショットを撮る: peekaboo see --no-elements --mode screen --path /tmp/peekaboo-screen.png 実行中のアプリを調べて、構造化されたUIマップを取得する: peekaboo see --app Finder --json

Peekaboo はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/openclaw/Peekaboo