Webサイトを構造化APIに変換し、スクレイピングやクロール、検索、監視、AI抽出を行うオープンソース基盤。
- スター
- 44,721
- フォーク
- 5,394
- 未解決の Issue
- 274
- 最終コミット
- 一昨日
これは何?
EasySpiderは、ブラウザー自動化とWebデータ収集のためのデスクトップアプリケーションです。スクリプトを書く代わりに、ページ上で必要な要素を選択すると、実行して再利用できるタスクが生成されます。商品一覧のような類似ブロックを自動検出する機能もあり、一覧全体を選択して、子要素のフィールドをまとめて抽出できます。
タスクはフローチャート形式で作成でき、ループ(各リンクをクリックして詳細ページを開く、結果をページ送りするなど)、条件分岐、テキスト入力、スクリーンショット、任意のJavaScriptを組み込めます。収集したデータは項目ごとに保存されます。また、完成したタスクをほかのシステムから実行できるコマンドラインモードも用意されています。
ライセンスはAGPL-3.0で、Electronを使って構築されています。ドキュメントはプロジェクトのGitHub Wikiで公開されており、サンプルタスクはリポジトリのExamplesフォルダーに含まれています。
主な機能
- 01クリックしてページ上の要素を選択でき、類似する要素は自動で判定されます。
- 02ループ、条件分岐、テキスト入力を含む収集フローをフローチャート形式で作成できます。
- 03一覧の各項目を順に処理して、詳細ページを開いてデータを収集できます。
- 04抽出データを項目ごとに保存できます。
- 05コマンドラインからタスクを実行し、ほかのシステムと連携できます。
- 06タスクに任意のJavaScriptステップを追加できます。
ユースケース
- コードを書かずに、ECサイトの商品一覧や詳細情報を収集する。
- 公開Webページをスクレイピングし、分析用の構造化データにする。
- 繰り返し行うブラウザー操作を、スケジュール実行やバッチ処理で自動化する。
- 独自コードを書くか判断する前に、スクレイパーのプロトタイプを作成する。
クイックスタート
- 1
Releases Pageから最新バージョンをダウンロードします
- 2
ダウンロードしたEasySpiderアプリを開き、ページ上の要素をクリックしてタスクを設計します
使う前に知っておきたいこと
- AGPL-3.0ライセンスにより、派生物およびネットワーク経由で提供する改変版は、同じライセンスで公開する必要があります。
- READMEのスポンサー向けセクションとプロモーションセクションはインストールに関係ありません。また、本ソフトウェアは現状有姿で提供され、保証はありません。
トピック
よくある質問
- EasySpider とは?
- Webページ上の要素をクリックしてデータ収集タスクを設計できる、コード不要のビジュアルWebクローラー/ブラウザー自動化ツールです。 EasySpiderは、ブラウザー自動化とWebデータ収集のためのデスクトップアプリケーションです。スクリプトを書く代わりに、ページ上で必要な要素を選択すると、実行して再利用できるタスクが生成されます。商品一覧のような類似ブロックを自動検出する機能もあり、一覧全体を選択して、子要素のフィールドをまとめて抽出できます。
- EasySpider は無料で使えますか?ライセンスは?
- EasySpider は AGPL-3.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
- EasySpider は今もメンテナンスされていますか?
- 活発にメンテナンス中。EasySpider の最終コミットは 2026年10月19日 です。
- EasySpider は何に使えますか?
- コードを書かずに、ECサイトの商品一覧や詳細情報を収集する。 公開Webページをスクレイピングし、分析用の構造化データにする。 繰り返し行うブラウザー操作を、スケジュール実行やバッチ処理で自動化する。 独自コードを書くか判断する前に、スクレイパーのプロトタイプを作成する。
- EasySpider のインストール方法は?
- Releases Pageから最新バージョンをダウンロードします ダウンロードしたEasySpiderアプリを開き、ページ上の要素をクリックしてタスクを設計します
- EasySpider はどこで入手できますか?
- ソースコードとインストール手順は GitHub にあります:https://github.com/NaiboWang/EasySpider
概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。
関連プロジェクト
Firecrawlを通じて、AIエージェントやMCPクライアントにWeb検索、スクレイピング、クロール、ブラウザー操作、Markdownや構造化データの抽出機能を提供する公式MCPサーバー。
DevTools ProtocolまたはWebDriver BiDi経由でChromeやFirefoxを操作できる、ヘッドレスがデフォルトの高レベルAPIを備えたJavaScriptライブラリ。
AIエージェントや自動化向けにZigで一から実装されたヘッドレスブラウザ。CDPとWebDriver BiDiのサーバーを備える。
Playwright風APIと自然言語のact・observe・extract呼び出しでChromeを操作する、ブラウザーエージェント向けTypeScript・Python・Go SDK。
LLMとコンピュータビジョンを使ってあらゆるサイトのWebワークフローを実行するオープンソースのブラウザ自動化ツール。PlaywrightにAIコマンドを追加します。