YOLOW92/pagesift

这是什么？

核心功能

• 01将 HTML、PDF、Word、Excel、PowerPoint、EPUB 和 CSV 转为 Markdown 或结构化数据。
• 02提供兼容 Firecrawl v1/v2 的 API 以及类似 Jina Reader 的端点。
• 03提供 Python 和 Node.js SDK、命令行工具和 Docker 镜像。
• 04仅在需要时使用无头浏览器渲染依赖 JavaScript 的页面。
• 05可作为共享 MCP 服务运行，并记录每次抓取的审计日志。
• 06通过限制队列长度并读取 cgroup 限制，控制内存占用。

适用场景

• 从网站和内部文档构建 RAG 知识库。
• 为 LLM 智能体提供获取干净网页内容的工具。
• 用自托管服务替代托管的 Firecrawl 或 Jina Reader。
• 批量将 PDF 和 Office 文件转换为 Markdown 以便索引。

使用前须知

• !采用 AGPL-3.0 许可证，这是一种 copyleft 许可证，通过网络提供服务时也需要公开源代码。
• !部分基准测试中表现落后于竞品，例如 A2 回放中落后于 spider，快速爬取耗时也更长。
• !2 亿请求的吞吐量数据来自无网络的本地合成源，并非真实互联网上的速度。

收录于专题

标签

常见问题

pagesift 是什么？

基于 Rust 的网页爬取与内容提取引擎，将网站、PDF 和 Office 文件转为干净的 Markdown 与结构化数据，面向 AI 智能体和 RAG。 PageSift 是一个用 Rust 编写的网页抓取与内容提取引擎，主要为 AI 智能体和 LLM 数据流程服务。它可以抓取 URL 或上传的文件，将正文转换为 Markdown 或结构化数据，支持 HTML 页面、PDF、Word、Excel、PowerPoint、EPUB 和 CSV。整站爬取时会按主机限速并遵守 robots.txt，只有页面依赖 JavaScript 才显示内容时才调用无头浏览器渲染。

pagesift 可以免费使用吗？用的什么许可证？

pagesift 以 AGPL-3.0 许可证开源。用于商业产品前，请先确认许可证条款。

pagesift 还在维护吗？

活跃维护中。pagesift 最近一次提交是在 2026年11月6日。

pagesift 适合用来做什么？

从网站和内部文档构建 RAG 知识库。 为 LLM 智能体提供获取干净网页内容的工具。 用自托管服务替代托管的 Firecrawl 或 Jina Reader。 批量将 PDF 和 Office 文件转换为 Markdown 以便索引。

在哪里获取 pagesift？

源代码和安装说明在 GitHub 上：https://github.com/YOLOW92/pagesift