Repolode
投稿する
A9T9

A9T9/RPA

マクロレコーダー、JavaScript API、OCR、画像認識、AIアシスタント向けMCPサーバーを備えた、ブラウザーおよびデスクトップ自動化拡張機能。

代替できる製品:UiPathAutomation Anywhere

GitHub で見る公式サイト
スター
2,101
フォーク
422
未解決の Issue
10
最終コミット
3 日前

これは何？

Ui.Visionは、Webサイトやデスクトップアプリケーションを自動化するブラウザー拡張機能です。マクロを記録してコマンドテーブルとして編集するほか、uiv.* APIを使ってJavaScriptで記述できます。フォーム入力、Webデータの抽出、ファイルのダウンロード、ユーザーが普段使っているブラウザーセッションで繰り返し実行するワークフローに対応しています。

HTMLセレクターを使えないページでは、OCRで画面上のテキストを認識し、画像マッチングでコントロールを特定できます。デスクトップ自動化では、視覚認識とマウス・キーボード操作を組み合わせます。この機能には、別途Ui.Visionデスクトップコンポーネント（XModules）が必要です。テスト形式のマクロでは、Selenium IDEのコマンドも利用できます。

このプロジェクトには、uivision-mcp-bridgeパッケージで提供されるMCPサーバーが含まれており、Claude Code、Claude Desktop、CursorなどのMCPクライアントを拡張機能に接続できます。AIエージェントはページを確認し、マクロを作成・編集・実行して、ログやスクリーンショットを確認できます。リポジトリには拡張機能のソースコードも含まれており、Reactとwebpackを使ってChrome、Edge、Firefox向けにビルドできます。

主な機能

  • 01ブラウザー操作をマクロとして記録するか、コマンドテーブルとして編集できます。
  • 02uiv.* JavaScript APIを使ってWebサイトを自動化できます。
  • 03OCRで画面上のテキストを認識し、画像からコントロールを特定できます。
  • 04AIアシスタントがマクロを作成・編集・実行できるMCPサーバーを提供します。
  • 05テスト形式のマクロでSelenium IDEのコマンドを利用できます。
  • 06Chrome、Edge、Firefox向けにビルドできます。

ユースケース

  • Webフォームへの定期的な入力や、レポートのダウンロード。
  • 利用可能なAPIがないWebサイトからのデータ抽出。
  • 異なる入力データを使った同一Webテストの実行。
  • AIエージェントによるブラウザー自動化タスクの作成と実行。
  • HTML構造のないデスクトップやリモートデスクトップの画面の自動化。

クイックスタート

  1. 1

    Chrome ウェブストア、Edge アドオンまたは Firefox アドオンからブラウザー拡張機能をインストールします

  2. 2

    インストーラーを実行して MCP クライアントに接続します（任意）

    npx uivision-mcp-bridge --setup

使う前に知っておきたいこと

  • デスクトップの自動化には、別途 XModules デスクトップコンポーネントが必要です。
  • MCP ブリッジを使用するには、Node.js と npm がインストールされている必要があります。
  • ソースからビルドするには、Node V20.11.1 と NPM V10.2.4 が必要です。

収録されている特集

オープンソースの AI エージェント・フレームワークとアプリMCP サーバーPDF・OCR・ドキュメント処理ツール

トピック

#browser-automation#rpa#mcp#ocr#image-recognition#javascript#macro-recorder#selenium#ai-agents#browser-automation-ai-api

よくある質問

RPA とは？
マクロレコーダー、JavaScript API、OCR、画像認識、AIアシスタント向けMCPサーバーを備えた、ブラウザーおよびデスクトップ自動化拡張機能。 Ui.Visionは、Webサイトやデスクトップアプリケーションを自動化するブラウザー拡張機能です。マクロを記録してコマンドテーブルとして編集するほか、uiv.* APIを使ってJavaScriptで記述できます。フォーム入力、Webデータの抽出、ファイルのダウンロード、ユーザーが普段使っているブラウザーセッションで繰り返し実行するワークフローに対応しています。
RPA は無料で使えますか？ライセンスは？
RPA は Other ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
RPA は今もメンテナンスされていますか？
活発にメンテナンス中。RPA の最終コミットは 2026年11月4日 です。
RPA は何に使えますか？
Webフォームへの定期的な入力や、レポートのダウンロード。 利用可能なAPIがないWebサイトからのデータ抽出。 異なる入力データを使った同一Webテストの実行。 AIエージェントによるブラウザー自動化タスクの作成と実行。 HTML構造のないデスクトップやリモートデスクトップの画面の自動化。
RPA のインストール方法は？
Chrome ウェブストア、Edge アドオンまたは Firefox アドオンからブラウザー拡張機能をインストールします インストーラーを実行して MCP クライアントに接続します（任意）: npx uivision-mcp-bridge --setup
RPA はどこで入手できますか？
ソースコードとインストール手順は GitHub にあります：https://github.com/A9T9/RPA

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト