Repolode
oxylabs

oxylabs/web-api-mcp

可自托管的 MCP 服务器,让 AI 智能体通过 Oxylabs Web API 进行网页搜索、抓取和专用采集。

Star
38
Fork
8
未关闭 Issue
2
最近提交
23小时前

这是什么?

这是 Oxylabs Web API 的官方 Model Context Protocol(MCP)服务器。任何支持 MCP 的智能体都可以通过一个连接实时搜索网页,以 Markdown 或 JSON 读取页面(包括依赖 JavaScript 和有反爬保护的页面),并调用针对特定网站的专用采集接口。

可以使用托管的远程 MCP 地址,在请求头中附带 API Key;也可以自行运行 Python 服务器,本地通过 stdio 连接,或通过 HTTP 作为共享服务部署。API Key、重试次数、用量上限以及大响应的 token 预算都通过环境变量配置。

在本地运行时,超大页面会写入临时文件并分段读取;服务器还会提示可能需要 JavaScript 渲染的页面。结构化结果可以来自专用解析器,也可以来自按提示词或 JSON Schema 提取字段的 AI 解析器。

核心功能

  • 01实时搜索网页,返回包含标题、描述和 URL 的自然排序结果。
  • 02抓取页面为 Markdown,或通过提示词或 Schema 提取 JSON 字段。
  • 03调用专用采集接口并传入其自有参数。
  • 04支持托管远程端点,也支持通过 stdio 或 HTTP 自托管。
  • 05本地运行时将超大页面写入磁盘并分段读取。
  • 06可选的服务器级频率限制,用于控制 API 花费。

适用场景

  • 为编程或研究类智能体提供实时网页搜索和页面读取能力。
  • 在智能体工作流中从商品或列表页提取结构化字段。
  • 在内网部署一个团队共享的采集服务。
  • 将 API Key 和网络访问保留在自有基础设施内。

快速上手

  1. 1

    从 Oxylabs 控制台获取 Web API 密钥

  2. 2

    将 API 密钥设置为环境变量

    export OXYLABS_WEB_API_KEY="your_api_key_here"
  3. 3

    将 Claude Code 连接到托管的 Remote MCP 服务器

    claude mcp add --transport http --scope user oxylabs-web-api https://mcp.oxylabs.io/web-api-mcp --header "Authorization: Bearer ${OXYLABS_WEB_API_KEY}"

使用前须知

  • 需要 Oxylabs Web API 密钥,使用 AI 解析器会在抓取费用之外另行计费。
  • 自托管需要 Python 3.10+ 和 uv,更新需要自行维护。
  • HTTP 传输必须设置 MCP_ALLOWED_HOSTS,否则会拒绝请求。

收录于专题

标签

常见问题

web-api-mcp 是什么?
可自托管的 MCP 服务器,让 AI 智能体通过 Oxylabs Web API 进行网页搜索、抓取和专用采集。 这是 Oxylabs Web API 的官方 Model Context Protocol(MCP)服务器。任何支持 MCP 的智能体都可以通过一个连接实时搜索网页,以 Markdown 或 JSON 读取页面(包括依赖 JavaScript 和有反爬保护的页面),并调用针对特定网站的专用采集接口。
web-api-mcp 可以免费使用吗?用的什么许可证?
web-api-mcp 以 MIT 许可证开源。用于商业产品前,请先确认许可证条款。
web-api-mcp 还在维护吗?
活跃维护中。web-api-mcp 最近一次提交是在 2026年11月6日。
web-api-mcp 适合用来做什么?
为编程或研究类智能体提供实时网页搜索和页面读取能力。 在智能体工作流中从商品或列表页提取结构化字段。 在内网部署一个团队共享的采集服务。 将 API Key 和网络访问保留在自有基础设施内。
web-api-mcp 怎么安装和运行?
从 Oxylabs 控制台获取 Web API 密钥 将 API 密钥设置为环境变量: export OXYLABS_WEB_API_KEY="your_api_key_here" 将 Claude Code 连接到托管的 Remote MCP 服务器: claude mcp add --transport http --scope user oxylabs-web-api https://mcp.oxylabs.io/web-api-mcp --header "Authorization: Bearer ${OXYLABS_WEB_API_KEY}"
在哪里获取 web-api-mcp?
源代码和安装说明在 GitHub 上:https://github.com/oxylabs/web-api-mcp

概要由 AI 根据项目 README 生成;GitHub 数据每日更新。

相关项目