「web-crawler」に関するオープンソースプロジェクト

ホームページURLからサイトを巡回し、52のSEOルールに基づいて監査してPDF・XLSX・Markdownレポートを作成するPythonツール。

WebサイトをRAG、AIエージェント、データパイプライン向けのクリーンなMarkdownに変換する、オープンソースのPythonクローラー。