D4Vinci/Scrapling

これは何？

主な機能

• 01通常のHTTPリクエスト、ステルスブラウザー、プロキシのローテーションに対応した永続セッション向けのフェッチャー。
• 02ドメインごとの速度制限、AutoThrottle、robots.txt対応、リトライ機能を備えた並行スパイダー。
• 03チェックポイントディレクトリを使った長時間クロールの一時停止と再開。
• 04適応的な要素追跡に対応した、CSS、XPath、テキスト、正規表現、類似要素による選択。
• 05結果をJSON、JSONL、CSV、XML形式でエクスポート。
• 06AIエージェントやターミナルから利用するためのMCPサーバー、Agent Skill、CLI。

ユースケース

• Pythonスクリプトで、静的ページやJavaScriptでレンダリングされたページからいくつかのフィールドを抽出する。
• 一時停止・再開や構造化形式でのエクスポートに対応した、大規模なWebサイトのクロールを実行する。
• MCPを通じて、AIエージェントにページの閲覧とデータ抽出を行わせる。
• 検索拡張生成で使うコーパスとして、WebページをMarkdownに変換する。

クイックスタート

1. 1

   READMEのインストール手順を読む

2. 2

   READMEのFetcherの例を使って1ページ取得する

トピック

よくある質問

Scrapling とは？

単発のHTTPリクエストからステルスブラウザー、解析、並行クロールとエクスポートまで対応するPython製Webスクレイピングフレームワーク。 Scraplingは、軽量なHTTPリクエスト、ステルスブラウザー、CSS・XPath・テキストによる選択に対応したパーサー、並行処理が可能なスパイダーエンジンを1つのライブラリにまとめたPython製Webスクレイピングフレームワークです。静的ページの取得、JavaScriptのレンダリング、サイトとの対話、サイトの背後で行われるAPI呼び出しの取得ができます。

Scrapling は無料で使えますか？ライセンスは？

Scrapling は BSD-3-Clause ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

Scrapling は今もメンテナンスされていますか？

活発にメンテナンス中。Scrapling の最終コミットは 2026年10月19日 です。

Scrapling は何に使えますか？

Pythonスクリプトで、静的ページやJavaScriptでレンダリングされたページからいくつかのフィールドを抽出する。 一時停止・再開や構造化形式でのエクスポートに対応した、大規模なWebサイトのクロールを実行する。 MCPを通じて、AIエージェントにページの閲覧とデータ抽出を行わせる。 検索拡張生成で使うコーパスとして、WebページをMarkdownに変換する。

Scrapling のインストール方法は？

READMEのインストール手順を読む READMEのFetcherの例を使って1ページ取得する

Scrapling はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/D4Vinci/Scrapling