apify/crawlee-python

これは何？

主な機能

• 01HTTPクローリングとヘッドレスブラウザーでのクローリングに対応した統一インターフェース。
• 02利用可能なシステムリソースに応じた自動並列クローリング。
• 03自動再試行と、セッション管理を備えたプロキシローテーション。
• 04永続的なURLキューと、表形式データやファイルに対応した差し替え可能なストレージ。
• 05URLを特定のハンドラーに振り分けるリクエストルーティング。

ユースケース

• Webサイトから商品や記事の構造化データを抽出し、データセットにまとめる。
• HTMLやPDFなどのWebコンテンツを収集し、AI、LLM、RAGのパイプラインに取り込む。
• Playwrightを使って、JavaScriptを多用するサイトのスクレイピングを自動化する。
• 中断後も再開できる、長時間のクローリングを実行する。

クイックスタート

1. 1

   pip を使って、すべての機能を含む Crawlee をインストールします

   python -m pip install 'crawlee[all]'
2. 2

   Playwright のブラウザー依存関係をインストールします

   playwright install
3. 3

   バージョンを表示して、インストールを確認します

   python -c 'import crawlee; print(crawlee.__version__)'

使う前に知っておきたいこと

• !ブラウザーを使ったクローリングを完全に行うには、Playwright のブラウザー依存関係を別途インストールする必要があります。

トピック

よくある質問

crawlee-python とは？

HTTPとヘッドレスブラウザーに対応し、プロキシのローテーションや永続ストレージを備えた、信頼性の高いWebクローラーやスクレイパーを構築するためのPythonライブラリです。 Crawleeは、Webスクレイピングとブラウザー自動化のためのPythonライブラリです。リンクの発見、URLのキューイング、リクエストの並列実行、失敗したページの再試行、抽出データの機械可読形式での保存など、クローリングに必要な処理を担うため、開発者はデータの抽出ロジックに集中できます。

crawlee-python は無料で使えますか？ライセンスは？

crawlee-python は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

crawlee-python は今もメンテナンスされていますか？

活発にメンテナンス中。crawlee-python の最終コミットは 2026年11月6日 です。

crawlee-python は何に使えますか？

Webサイトから商品や記事の構造化データを抽出し、データセットにまとめる。 HTMLやPDFなどのWebコンテンツを収集し、AI、LLM、RAGのパイプラインに取り込む。 Playwrightを使って、JavaScriptを多用するサイトのスクレイピングを自動化する。 中断後も再開できる、長時間のクローリングを実行する。

crawlee-python のインストール方法は？

pip を使って、すべての機能を含む Crawlee をインストールします: python -m pip install 'crawlee[all]' Playwright のブラウザー依存関係をインストールします: playwright install バージョンを表示して、インストールを確認します: python -c 'import crawlee; print(crawlee.__version__)'

crawlee-python はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/apify/crawlee-python