“web-scraping” 相关开源项目

开源自主研究智能体，可基于网页和本地文档进行深度研究，使用任意 LLM 服务并生成带引用的报告。

基于 LLM 与图结构流水线的 Python 库，依据自然语言提示从网页和本地文档中提取结构化数据。

一款 Chrome 扩展，可识别网站使用的反爬系统、验证码和指纹技术，并给出置信度。

一个浏览器自动化平台，可将录制的浏览器操作转为 MCP 命令或 Claude Skill，供 AI 智能体直接调用。

一个用于构建网页爬虫的 Python 框架，主打绕过反爬检测，支持浏览器与 HTTP 请求两种模式。

一个轻量级 Python 包，用于搜索 Google News 文章并以 JSON 格式返回结果，可选提取全文。

借助 Playwright 分析任意网站，提取配色、字体、间距和组件等设计系统，并导出为 Tailwind、React、设计令牌或 Markdown 报告。

开源网页数据平台，可将任意网站转换为结构化 API，支持抓取、爬取、搜索、监控和 AI 提取。

面向 AI 智能体的浏览器，智能体在独立 Space 中执行自动化，你的标签页和登录状态互不干扰。

从公众号文章中提取可复用的视觉样式模板，并生成可复制到微信编辑器的富文本预览。

基于 Python 的人教社电子教材批量下载工具，提供 WebUI 与命令行，可合成为 PDF。

自托管的网页变化监控工具，可追踪内容、价格和补货变化，并通过多种渠道发送提醒。

一款用 Rust 编写的命令行工具，一条命令即可获取 Bilibili、Reddit、Hacker News 等 55 个网站的数据。

开源 Python 网页爬虫，可将任意网站转换为适合 LLM 使用的干净 Markdown。