D4Vinci/Scrapling

这是什么？

核心功能

• 01提供普通 HTTP 请求、隐身浏览器和带代理轮换的持久会话抓取器。
• 02并发爬虫支持按域名限速、AutoThrottle、robots.txt 遵循和自动重试。
• 03通过 crawldir 检查点实现长时间爬取的暂停与恢复。
• 04支持 CSS、XPath、文本、正则和相似元素查找，并可自适应跟踪元素变化。
• 05结果可导出为 JSON、JSONL、CSV 或 XML。
• 06提供 MCP 服务器、Agent Skill 和命令行工具，便于 AI 智能体和终端使用。

适用场景

• 在 Python 脚本中从静态页面或 JavaScript 渲染页面提取少量字段。
• 对整站进行大规模爬取，并支持暂停、恢复和结构化导出。
• 通过 MCP 让 AI 智能体浏览网页并提取数据。
• 将网页转换为 Markdown 语料，用于检索增强生成（RAG）。

快速上手

1. 1

   阅读 README 中的安装说明

2. 2

   运行 README 中的 Fetcher 单页抓取示例

标签

常见问题

Scrapling 是什么？

Python 网页抓取框架，覆盖单次请求、隐身浏览器、解析到并发爬取与数据导出的完整流程。 Scrapling 是一个 Python 网页抓取框架，把快速 HTTP 请求、隐身浏览器、基于 CSS、XPath 和文本的解析，以及并发爬虫整合在同一个库中。它可以抓取静态页面、渲染 JavaScript、与网站交互，并提取页面背后的 API 请求数据。

Scrapling 可以免费使用吗？用的什么许可证？

Scrapling 以 BSD-3-Clause 许可证开源。用于商业产品前，请先确认许可证条款。

Scrapling 还在维护吗？

活跃维护中。Scrapling 最近一次提交是在 2026年10月19日。

Scrapling 适合用来做什么？

在 Python 脚本中从静态页面或 JavaScript 渲染页面提取少量字段。 对整站进行大规模爬取，并支持暂停、恢复和结构化导出。 通过 MCP 让 AI 智能体浏览网页并提取数据。 将网页转换为 Markdown 语料，用于检索增强生成（RAG）。

Scrapling 怎么安装和运行？

阅读 README 中的安装说明 运行 README 中的 Fetcher 单页抓取示例

在哪里获取 Scrapling？

源代码和安装说明在 GitHub 上：https://github.com/D4Vinci/Scrapling