「web-scraping」に関するオープンソースプロジェクト

WebサイトをRAG、AIエージェント、データパイプライン向けのクリーンなMarkdownに変換する、オープンソースのPythonクローラー。

Webページの内容・価格・在庫の変化を監視し、多様な通知先にアラートを送るセルフホスト型ツール。

スクレイピング、クローリング、検索、監視、AI抽出でWebサイトを構造化APIに変えるオープンソースのデータプラットフォーム。

自分のタブやログイン状態を保ったまま、AIエージェントが独立したSpaceで自動化を実行できるブラウザー。

ボット検知の回避を目指すWebスクレイピング向けPythonフレームワーク。ブラウザ・HTTP通信、UI生成、デスクトップアプリに対応。

Bilibili、Reddit、Hacker Newsなど多数のサイトから、1つのコマンドでデータを取得できるRust製CLIツール。

ブラウザー操作の記録をMCPコマンドやClaude Skillsに変換し、AIエージェントがブラウザーを直接操作できる自動化プラットフォーム。

PEP（人民教育出版社）の電子教科書を一括ダウンロードし、PDFにまとめるWebUI・CLI対応のPythonツール。

Google Newsを検索し、記事をJSONで返す軽量なPythonパッケージ（全文抽出にも対応）。

サイトが使うボット対策、CAPTCHA、フィンガープリント技術を信頼度スコア付きで検出するChrome拡張機能。

WeChat公式アカウント記事から再利用可能なスタイルを抽出し、WeChatエディターに貼り付けられるリッチテキストでプレビューするツール。

PlaywrightでWebサイトを解析し、デザインシステムをTailwind、React、トークン、Markdown形式で出力します。