scrapy/scrapy

これは何？

主な機能

• 01リンクをたどりながら、リクエストを非同期に送信してサイトをクロールします。
• 02HTMLやXMLのページから構造化データを抽出し、アイテムとして扱います。
• 03抽出したアイテムを、設定可能な処理パイプラインに渡します。
• 04Python 3.11以降で、Windows、macOS、Linux上で動作します。
• 05pipを使ってPyPIから簡単にインストールできます。

ユースケース

• ECサイトから商品一覧や価格を収集する。
• 記事や公開Webコンテンツをクロールしてデータセットを構築する。
• スケジュールに沿ってWebサイトのコンテンツ変更を監視する。

クイックスタート

1. 1

   pipでScrapyをインストールします

   pip install scrapy
2. 2

   ドキュメントを読んで使い方を学びます

使う前に知っておきたいこと

• !Python 3.11以降が必要です。

トピック

よくある質問

scrapy とは？

Scrapyは、Webサイトから構造化データを抽出するためのPython製スクレイピング・クローリングフレームワークです。 Scrapyは、Webサイトをクロールしてページから構造化データを抽出するための高水準フレームワークです。リクエストの送信、リンクのたどり方、抽出したアイテムの処理ステップへの受け渡しなど、スクレイピングプロジェクトに共通する処理を担うため、開発者は必要なフィールドを抽出するルールの作成に集中できます。

scrapy は無料で使えますか？ライセンスは？

scrapy は BSD-3-Clause ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

scrapy は今もメンテナンスされていますか？

活発にメンテナンス中。scrapy の最終コミットは 2026年10月21日 です。

scrapy は何に使えますか？

ECサイトから商品一覧や価格を収集する。 記事や公開Webコンテンツをクロールしてデータセットを構築する。 スケジュールに沿ってWebサイトのコンテンツ変更を監視する。

scrapy のインストール方法は？

pipでScrapyをインストールします: pip install scrapy ドキュメントを読んで使い方を学びます

scrapy はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/scrapy/scrapy