apify/crawlee-python

这是什么？

核心功能

• 01为 HTTP 与无头浏览器爬取提供统一接口。
• 02根据系统资源自动并行抓取。
• 03遇到错误或被拦截时自动重试，并集成代理轮换与会话管理。
• 04提供持久化 URL 队列，以及可替换的表格数据与文件存储。
• 05支持请求路由，将不同 URL 交给对应的处理函数。

适用场景

• 从网站批量提取商品或文章等结构化数据并存入数据集。
• 采集网页或 PDF 等内容，为 AI、LLM 或 RAG 流程提供数据。
• 使用 Playwright 抓取依赖 JavaScript 渲染的网站。
• 运行可中断恢复的长时间爬取任务。

快速上手

1. 1

   使用 pip 安装包含所有功能的 Crawlee

   python -m pip install 'crawlee[all]'
2. 2

   安装 Playwright 浏览器依赖

   playwright install
3. 3

   打印版本号以验证安装

   python -c 'import crawlee; print(crawlee.__version__)'

使用前须知

• !完整的浏览器抓取需要单独安装 Playwright 浏览器依赖。

标签

常见问题

crawlee-python 是什么？

一个用于构建可靠网页爬虫与抓取程序的 Python 库，支持 HTTP 与无头浏览器两种模式。 Crawlee 是一个用于网页抓取与浏览器自动化的 Python 库。它处理爬取过程中的通用工作，包括发现链接、管理 URL 队列、并行执行请求、自动重试失败的页面，并把提取的数据存成机器可读的格式，让开发者专注于数据提取逻辑。

crawlee-python 可以免费使用吗？用的什么许可证？

crawlee-python 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。

crawlee-python 还在维护吗？

活跃维护中。crawlee-python 最近一次提交是在 2026年11月6日。

crawlee-python 适合用来做什么？

从网站批量提取商品或文章等结构化数据并存入数据集。 采集网页或 PDF 等内容，为 AI、LLM 或 RAG 流程提供数据。 使用 Playwright 抓取依赖 JavaScript 渲染的网站。 运行可中断恢复的长时间爬取任务。

crawlee-python 怎么安装和运行？

使用 pip 安装包含所有功能的 Crawlee: python -m pip install 'crawlee[all]' 安装 Playwright 浏览器依赖: playwright install 打印版本号以验证安装: python -c 'import crawlee; print(crawlee.__version__)'

在哪里获取 crawlee-python？

源代码和安装说明在 GitHub 上：https://github.com/apify/crawlee-python