「crawler」に関するオープンソースプロジェクト

サイトが使うボット対策、CAPTCHA、フィンガープリント技術を信頼度スコア付きで検出するChrome拡張機能。

スクレイピング、クローリング、検索、監視、AI抽出でWebサイトを構造化APIに変えるオープンソースのデータプラットフォーム。

WebサイトをRAG、AIエージェント、データパイプライン向けのクリーンなMarkdownに変換する、オープンソースのPythonクローラー。