unclecode/crawl4ai

これは何？

主な機能

• 01メニュー、フッター、定型的なノイズを取り除くフィルターを使い、ページをクリーンなMarkdownに変換します。
• 02CSS/XPathスキーマまたは任意のLLMプロバイダーを使って、構造化JSONを抽出します。
• 03JavaScriptを実行し、要素の表示を待機して、遅延読み込みコンテンツを取得するためにページ全体をスクロールします。
• 04深層クロール（BFS、DFS、最良優先）と複数URLの一括クロールに対応しています。
• 05永続的なプロファイル、プロキシ、セッション、ステルス設定を使ったブラウザー制御を提供します。
• 06Docker製のRESTサーバー、crwl CLI、MCPエンドポイントを利用できます。

ユースケース

• WebコンテンツをRAGパイプラインやベクトルデータベースに取り込む。
• AIエージェントが公開中のWebページを読み、要約できるようにする。
• パーサーを手作業で書かずに、商品ページや価格ページを構造化データとしてスクレイピングする。
• ドキュメントサイトをMarkdownとして保存し、オフライン検索に利用する。

トピック

よくある質問

crawl4ai とは？

WebサイトをRAG、AIエージェント、データパイプライン向けのクリーンなMarkdownに変換する、オープンソースのPythonクローラー。 Crawl4AIは、Python製のオープンソースWebクローラー兼スクレイパーです。実際のブラウザーでページを取得し、LLMが読み取れるクリーンなMarkdownに変換するため、検索拡張生成（RAG）、AIエージェント、データパイプラインに活用できます。また、LLMを使わないCSSやXPathのスキーマ、またはLiteLLM経由でサポートされる任意のLLMプロバイダーを使って、ページから構造化JSONを抽出することもできます。

crawl4ai は無料で使えますか？ライセンスは？

crawl4ai は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

crawl4ai は今もメンテナンスされていますか？

活発にメンテナンス中。crawl4ai の最終コミットは 2026年10月15日 です。

crawl4ai は何に使えますか？

WebコンテンツをRAGパイプラインやベクトルデータベースに取り込む。 AIエージェントが公開中のWebページを読み、要約できるようにする。 パーサーを手作業で書かずに、商品ページや価格ページを構造化データとしてスクレイピングする。 ドキュメントサイトをMarkdownとして保存し、オフライン検索に利用する。

crawl4ai はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/unclecode/crawl4ai