Repolode
KnockOutEZ

KnockOutEZ/wigolo

面向 AI 智能体的本地优先网页搜索、抓取、爬取与研究工具,通过 MCP 提供,无需 API Key,单次查询零成本。

可替代:FirecrawlExaTavily

Star
5,493
Fork
449
未关闭 Issue
78
最近提交
昨天

这是什么?

wigolo 为 AI 智能体提供一套统一的网页工具,包括多引擎搜索、网页抓取、多页面爬取、结构化提取、本地缓存、相似页面查找、带引用的研究报告以及自动收集循环。它可以作为 MCP 服务器与 Claude Code、Cursor、VS Code 等编程智能体一起运行,也能以 REST 接口提供服务,或通过 TypeScript 与 Python SDK 嵌入应用。

核心工具无需 API Key,缓存的页面和模型都保存在 ~/.wigolo/ 下。遇到需要 JavaScript 渲染或反爬挑战的页面时,抓取会从普通 HTTP 自动升级到无头浏览器;失败的搜索引擎和被拦截的页面会在结果中明确标注。研究和智能体任务的综合回答是可选功能,需要配置 LLM 提供方,也可以使用本地 Ollama 模型。

项目通过 npx wigolo init 安装,需要 Node 20 及以上版本和约 1.5 GB 磁盘空间,并提供 LangChain、CrewAI、LlamaIndex 与 Vercel AI SDK 的集成。

核心功能

  • 01多引擎网页搜索,支持排名融合并为每条结果给出可解释的评分。
  • 02页面抓取在遇到单页应用或反爬挑战时自动切换到无头浏览器。
  • 03支持 BFS、DFS、站点地图和仅映射模式的多页面爬取,并遵守 robots.txt。
  • 04可提取表格、元数据、JSON-LD,也支持自定义 JSON Schema 的结构化数据。
  • 05本地缓存支持关键词与语义检索,并通过 diff 和 watch 检测页面变化。
  • 06可通过 MCP、REST API、命令行以及 TypeScript 和 Python SDK 调用。

适用场景

  • 让编程智能体无需按次付费即可实时搜索网页并读取内容。
  • 为自托管智能体提供可通过 REST 调用的网页工具。
  • 在 LangChain 或 LlamaIndex 中构建加载最新网页的 RAG 流程。
  • 监控页面变化并将更新推送到 webhook。

快速上手

  1. 1

    设置本地引擎

    npx wigolo init
  2. 2

    检查安装是否正常

    npx wigolo doctor

使用前须知

  • 许可证显示为 NOASSERTION,但 README 徽章标注为 AGPL-3.0,商用前请查阅 LICENSING.md。
  • 需要 Node 20 或更高版本,并约 1.5 GB 可用磁盘空间用于浏览器引擎和模型。
  • research、agent 等综合答案功能需要免费的 LLM 密钥才能生成完整的带引用答案,否则只返回原始资料。
  • 项目处于公开测试阶段,可能存在不完善之处。

标签

常见问题

wigolo 是什么?
面向 AI 智能体的本地优先网页搜索、抓取、爬取与研究工具,通过 MCP 提供,无需 API Key,单次查询零成本。 wigolo 为 AI 智能体提供一套统一的网页工具,包括多引擎搜索、网页抓取、多页面爬取、结构化提取、本地缓存、相似页面查找、带引用的研究报告以及自动收集循环。它可以作为 MCP 服务器与 Claude Code、Cursor、VS Code 等编程智能体一起运行,也能以 REST 接口提供服务,或通过 TypeScript 与 Python SDK 嵌入应用。
wigolo 可以免费使用吗?用的什么许可证?
wigolo 以 Other 许可证开源。用于商业产品前,请先确认许可证条款。
wigolo 还在维护吗?
活跃维护中。wigolo 最近一次提交是在 2026年10月20日。
wigolo 适合用来做什么?
让编程智能体无需按次付费即可实时搜索网页并读取内容。 为自托管智能体提供可通过 REST 调用的网页工具。 在 LangChain 或 LlamaIndex 中构建加载最新网页的 RAG 流程。 监控页面变化并将更新推送到 webhook。
wigolo 怎么安装和运行?
设置本地引擎: npx wigolo init 检查安装是否正常: npx wigolo doctor
在哪里获取 wigolo?
源代码和安装说明在 GitHub 上:https://github.com/KnockOutEZ/wigolo

概要由 AI 根据项目 README 生成;GitHub 数据每日更新。

相关项目