spider-rs/spider

这是什么？

核心功能

• 01边抓取边返回页面，无需等待整个爬取任务结束。
• 02默认使用 HTTP 请求，只在依赖 JavaScript 的页面上启动无头 Chrome。
• 03可控制并发数、爬取深度、请求间隔，并遵循 robots.txt。
• 04内置代理、重试、限速和隐身模式。
• 05提供 Rust、Node.js、Python 绑定，以及命令行工具和 MCP 服务器。

适用场景

• 将网页内容导入向量数据库，用于 LLM 或 RAG 流程。
• 监控网站的 SEO 变化或价格更新。
• 将爬取的页面导出为 Markdown、JSON 或 WARC 文件。
• 为 AI 浏览代理驱动无头 Chrome。

快速上手

1. 1

   将 Rust 库添加到项目中

   cargo add spider
2. 2

   或安装命令行工具

   cargo install spider_cli
3. 3

   使用 Website::new 和 crawl().await 编写爬虫（参见 README 示例）

使用前须知

• !使用 Spider Cloud 的完整功能需要来自第三方服务的 API 密钥。

标签

常见问题

spider 是什么？

用 Rust 编写的高并发网页爬取与抓取引擎，仅在需要时才渲染 JavaScript。 Spider 是一个用 Rust 编写的网页爬取与数据抓取引擎。它边抓取边返回页面，默认使用普通 HTTP 请求，只有确实需要执行 JavaScript 的页面才会启动无头 Chrome。同一套 API 既可用于本地单个脚本，也能扩展到分布式的多工作节点部署。

spider 可以免费使用吗？用的什么许可证？

spider 以 MIT 许可证开源。用于商业产品前，请先确认许可证条款。

spider 还在维护吗？

活跃维护中。spider 最近一次提交是在 2026年10月20日。

spider 适合用来做什么？

将网页内容导入向量数据库，用于 LLM 或 RAG 流程。 监控网站的 SEO 变化或价格更新。 将爬取的页面导出为 Markdown、JSON 或 WARC 文件。 为 AI 浏览代理驱动无头 Chrome。

spider 怎么安装和运行？

将 Rust 库添加到项目中: cargo add spider 或安装命令行工具: cargo install spider_cli 使用 Website::new 和 crawl().await 编写爬虫（参见 README 示例）

在哪里获取 spider？

源代码和安装说明在 GitHub 上：https://github.com/spider-rs/spider