spider-rs/spider

これは何？

主な機能

• 01クロールの完了を待たず、取得したページを順次ストリームで出力します。
• 02デフォルトではHTTPを使用し、JavaScriptを多用するページに限りヘッドレスChromeを起動します。
• 03並行数、クロール深度、リクエスト間隔、robots.txtの遵守を制御できます。
• 04プロキシ、リトライ、レート制限、ステルス機能を標準で利用できます。
• 05Rust、Node.js、Python向けのバインディングに加え、CLIとMCPサーバーを提供します。

ユースケース

• Webコンテンツをベクトルストアに取り込み、LLMやRAGのパイプラインに活用する。
• サイトのSEO上の変化や価格の更新を監視する。
• クロールしたページをMarkdown、JSON、WARCファイルとしてエクスポートする。
• AIブラウジングエージェントからヘッドレスChromeを操作する。

クイックスタート

1. 1

   Rustライブラリをプロジェクトに追加します

   cargo add spider
2. 2

   または、コマンドラインツールをインストールします

   cargo install spider_cli
3. 3

   Website::new と crawl().await を使ってクローラーを作成します（README の例を参照）

使う前に知っておきたいこと

• !Spider Cloudの全機能を利用するには、サードパーティーサービスの有料または無料のAPIキーが必要です。

トピック

よくある質問

spider とは？

必要なページだけJavaScriptをレンダリングする、Rust製の並行処理重視のWebクローラー・スクレイピングエンジン。 SpiderはRustで書かれたWebクローラー・スクレイピングエンジンです。ページの取得と同時にストリームで出力し、デフォルトでは通常のHTTPを使用します。JavaScriptのレンダリングが必要なページに限り、ヘッドレスChromeを起動します。同じAPIを、単一のローカルスクリプトから分散ワーカー構成まで利用できます。

spider は無料で使えますか？ライセンスは？

spider は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

spider は今もメンテナンスされていますか？

活発にメンテナンス中。spider の最終コミットは 2026年10月20日 です。

spider は何に使えますか？

Webコンテンツをベクトルストアに取り込み、LLMやRAGのパイプラインに活用する。 サイトのSEO上の変化や価格の更新を監視する。 クロールしたページをMarkdown、JSON、WARCファイルとしてエクスポートする。 AIブラウジングエージェントからヘッドレスChromeを操作する。

spider のインストール方法は？

Rustライブラリをプロジェクトに追加します: cargo add spider または、コマンドラインツールをインストールします: cargo install spider_cli Website::new と crawl().await を使ってクローラーを作成します（README の例を参照）

spider はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/spider-rs/spider