Python 网页抓取框架，覆盖单次请求、隐身浏览器、解析到并发爬取与数据导出的完整流程。
8.9万9146PythonBSD-3-Clause更新于 前天
scrapy/scrapy
Scrapy 是一个 Python 网页抓取与爬虫框架，用于从网站中提取结构化数据。
- Star
- 64,938
- Fork
- 12,033
- 未关闭 Issue
- 172
- 最近提交
- 4小时前
这是什么？
Scrapy 是一个高层级的网页爬取框架，用于抓取网站并从页面中提取结构化数据。它负责发送请求、跟踪链接、将提取的数据条目交给后续处理流程等抓取项目中的常见环节，开发者只需编写提取目标字段的规则。
该框架跨平台运行，要求 Python 3.11 及以上版本。项目由 Zyte（原 Scrapinghub）维护，并有大量外部贡献者参与。通过 pip 即可一条命令安装，官方文档站提供完整的使用指南。
核心功能
- 01通过跟踪链接并异步发送请求来爬取网站。
- 02从 HTML 和 XML 页面中提取结构化数据条目。
- 03通过可配置的处理管道对提取的数据进行后续处理。
- 04支持 Windows、macOS 和 Linux，要求 Python 3.11 及以上。
- 05可通过 pip 从 PyPI 便捷安装。
适用场景
- 从电商网站收集商品列表或价格信息。
- 通过爬取文章或公开网页内容构建数据集。
- 定期监控网站内容的变化。
快速上手
- 1
使用 pip 安装 Scrapy
pip install scrapy - 2
阅读文档以学习如何使用
使用前须知
- 需要 Python 3.11 或更高版本。
标签
常见问题
- scrapy 是什么？
- Scrapy 是一个 Python 网页抓取与爬虫框架，用于从网站中提取结构化数据。 Scrapy 是一个高层级的网页爬取框架，用于抓取网站并从页面中提取结构化数据。它负责发送请求、跟踪链接、将提取的数据条目交给后续处理流程等抓取项目中的常见环节，开发者只需编写提取目标字段的规则。
- scrapy 可以免费使用吗？用的什么许可证？
- scrapy 以 BSD-3-Clause 许可证开源。用于商业产品前，请先确认许可证条款。
- scrapy 还在维护吗？
- 活跃维护中。scrapy 最近一次提交是在 2026年10月21日。
- scrapy 适合用来做什么？
- 从电商网站收集商品列表或价格信息。 通过爬取文章或公开网页内容构建数据集。 定期监控网站内容的变化。
- scrapy 怎么安装和运行？
- 使用 pip 安装 Scrapy: pip install scrapy 阅读文档以学习如何使用
- 在哪里获取 scrapy？
- 源代码和安装说明在 GitHub 上：https://github.com/scrapy/scrapy
概要由 AI 根据项目 README 生成；GitHub 数据每日更新。
相关项目
Python 3 库，用于抓取新闻文章并提取正文、作者、发布时间、图片、关键词和摘要。
1.5万2107PythonMIT更新于 3天前
一个基于 LLM 与图结构流水线的 Python 网页抓取库，按自然语言描述提取结构化数据。
3.2万3369PythonMIT更新于 16天前
开源网页数据平台，可将网站转换为结构化 API，支持抓取、爬取、搜索、监控和 AI 数据提取。
1.8万1559TypeScriptAGPL-3.0更新于 7小时前
用 Rust 编写的高并发网页爬取与抓取引擎，仅在需要时才渲染 JavaScript。
2790316RustMIT更新于 前天
开源 Python 网页爬虫，可将任意网站转为干净、适合 LLM 使用的 Markdown，并支持结构化数据提取。
8.6万8938PythonApache-2.0更新于 前天