Repolode
提交项目
unclecode

unclecode/crawl4ai

开源 Python 网页爬虫，可将任意网站转换为适合 LLM 使用的干净 Markdown。

可替代:FirecrawlApifyScrapingBee

在 GitHub 查看官网
Star
85,772
Fork
8,915
未关闭 Issue
263
最近提交
3天前

这是什么？

Crawl4AI 是一个用 Python 编写的开源网页爬虫和抓取工具。它使用真实浏览器加载页面，并将内容转换为语言模型易于读取的干净 Markdown，适用于检索增强生成（RAG）、AI 智能体和数据管道。它还能从页面中提取结构化 JSON：既可以用不依赖 LLM 的 CSS 和 XPath 规则，也可以通过 LiteLLM 接入各类大模型服务。

库本身支持依赖 JavaScript 的页面、无限滚动、会话、Cookie、代理以及持久化的浏览器配置。深度爬取提供广度优先、深度优先和最佳优先三种策略，并可从 sitemap 和 Common Crawl 发现 URL。Docker 服务端提供 /md、/crawl、/screenshot 等 REST 接口，命令行工具 crwl 适合快速抓取。

项目还提供托管服务 Crawl4AI Cloud，包含搜索、SERP 和问答接口，并提供 MCP 服务器方便 AI 智能体接入。核心库和自托管服务均可免费自行运行，采用 Apache-2.0 许可。

核心功能

  • 01将页面转换为干净的 Markdown，并可过滤菜单、页脚等样板内容。
  • 02通过 CSS/XPath 规则或任意 LLM 提取结构化 JSON。
  • 03执行 JavaScript、等待元素加载，并滚动整页以获取懒加载内容。
  • 04支持广度优先、深度优先、最佳优先的深度爬取，以及批量 URL 抓取。
  • 05支持持久化浏览器配置、代理、会话和隐身模式等浏览器控制。
  • 06提供 Docker REST 服务、crwl 命令行工具和 MCP 接入端点。

适用场景

  • 将网页内容导入 RAG 流程或向量数据库。
  • 让 AI 智能体读取并总结实时网页。
  • 无需手写解析器，将商品或价格页面抓取为结构化数据。
  • 将文档站点保存为 Markdown，用于离线检索。

标签

#web-crawler#web-scraping#llm#rag#markdown#playwright#ai-agents#data-extraction#ai#crawler

常见问题

crawl4ai 是什么？
开源 Python 网页爬虫，可将任意网站转换为适合 LLM 使用的干净 Markdown。 Crawl4AI 是一个用 Python 编写的开源网页爬虫和抓取工具。它使用真实浏览器加载页面，并将内容转换为语言模型易于读取的干净 Markdown，适用于检索增强生成（RAG）、AI 智能体和数据管道。它还能从页面中提取结构化 JSON：既可以用不依赖 LLM 的 CSS 和 XPath 规则，也可以通过 LiteLLM 接入各类大模型服务。
crawl4ai 可以免费使用吗？用的什么许可证？
crawl4ai 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。
crawl4ai 还在维护吗？
活跃维护中。crawl4ai 最近一次提交是在 2026年10月15日。
crawl4ai 适合用来做什么？
将网页内容导入 RAG 流程或向量数据库。 让 AI 智能体读取并总结实时网页。 无需手写解析器，将商品或价格页面抓取为结构化数据。 将文档站点保存为 Markdown，用于离线检索。
在哪里获取 crawl4ai？
源代码和安装说明在 GitHub 上：https://github.com/unclecode/crawl4ai

概要由 AI 根据项目 README 生成；GitHub 数据每日更新。

相关项目