一个 Python 元搜索库,统一聚合多个网页搜索引擎的文本、图片、视频、新闻和书籍结果。
oxylabs/web-api-mcp
可自托管的 MCP 服务器,让 AI 智能体通过 Oxylabs Web API 进行网页搜索、抓取和专用采集。
- Star
- 38
- Fork
- 8
- 未关闭 Issue
- 2
- 最近提交
- 23小时前
这是什么?
这是 Oxylabs Web API 的官方 Model Context Protocol(MCP)服务器。任何支持 MCP 的智能体都可以通过一个连接实时搜索网页,以 Markdown 或 JSON 读取页面(包括依赖 JavaScript 和有反爬保护的页面),并调用针对特定网站的专用采集接口。
可以使用托管的远程 MCP 地址,在请求头中附带 API Key;也可以自行运行 Python 服务器,本地通过 stdio 连接,或通过 HTTP 作为共享服务部署。API Key、重试次数、用量上限以及大响应的 token 预算都通过环境变量配置。
在本地运行时,超大页面会写入临时文件并分段读取;服务器还会提示可能需要 JavaScript 渲染的页面。结构化结果可以来自专用解析器,也可以来自按提示词或 JSON Schema 提取字段的 AI 解析器。
核心功能
- 01实时搜索网页,返回包含标题、描述和 URL 的自然排序结果。
- 02抓取页面为 Markdown,或通过提示词或 Schema 提取 JSON 字段。
- 03调用专用采集接口并传入其自有参数。
- 04支持托管远程端点,也支持通过 stdio 或 HTTP 自托管。
- 05本地运行时将超大页面写入磁盘并分段读取。
- 06可选的服务器级频率限制,用于控制 API 花费。
适用场景
- 为编程或研究类智能体提供实时网页搜索和页面读取能力。
- 在智能体工作流中从商品或列表页提取结构化字段。
- 在内网部署一个团队共享的采集服务。
- 将 API Key 和网络访问保留在自有基础设施内。
快速上手
- 1
从 Oxylabs 控制台获取 Web API 密钥
- 2
将 API 密钥设置为环境变量
export OXYLABS_WEB_API_KEY="your_api_key_here" - 3
将 Claude Code 连接到托管的 Remote MCP 服务器
claude mcp add --transport http --scope user oxylabs-web-api https://mcp.oxylabs.io/web-api-mcp --header "Authorization: Bearer ${OXYLABS_WEB_API_KEY}"
使用前须知
- 需要 Oxylabs Web API 密钥,使用 AI 解析器会在抓取费用之外另行计费。
- 自托管需要 Python 3.10+ 和 uv,更新需要自行维护。
- HTTP 传输必须设置 MCP_ALLOWED_HOSTS,否则会拒绝请求。
收录于专题
标签
常见问题
- web-api-mcp 是什么?
- 可自托管的 MCP 服务器,让 AI 智能体通过 Oxylabs Web API 进行网页搜索、抓取和专用采集。 这是 Oxylabs Web API 的官方 Model Context Protocol(MCP)服务器。任何支持 MCP 的智能体都可以通过一个连接实时搜索网页,以 Markdown 或 JSON 读取页面(包括依赖 JavaScript 和有反爬保护的页面),并调用针对特定网站的专用采集接口。
- web-api-mcp 可以免费使用吗?用的什么许可证?
- web-api-mcp 以 MIT 许可证开源。用于商业产品前,请先确认许可证条款。
- web-api-mcp 还在维护吗?
- 活跃维护中。web-api-mcp 最近一次提交是在 2026年11月6日。
- web-api-mcp 适合用来做什么?
- 为编程或研究类智能体提供实时网页搜索和页面读取能力。 在智能体工作流中从商品或列表页提取结构化字段。 在内网部署一个团队共享的采集服务。 将 API Key 和网络访问保留在自有基础设施内。
- web-api-mcp 怎么安装和运行?
- 从 Oxylabs 控制台获取 Web API 密钥 将 API 密钥设置为环境变量: export OXYLABS_WEB_API_KEY="your_api_key_here" 将 Claude Code 连接到托管的 Remote MCP 服务器: claude mcp add --transport http --scope user oxylabs-web-api https://mcp.oxylabs.io/web-api-mcp --header "Authorization: Bearer ${OXYLABS_WEB_API_KEY}"
- 在哪里获取 web-api-mcp?
- 源代码和安装说明在 GitHub 上:https://github.com/oxylabs/web-api-mcp
概要由 AI 根据项目 README 生成;GitHub 数据每日更新。
相关项目
为 AI 智能体提供实时网页搜索、垂直领域搜索、并行批量搜索和网页正文提取的 MCP 服务器。
让 AI 智能体通过 MCP 协议调用 Exa 进行网页搜索、内容抓取与多步研究。
为 AI 助手提供实时网络搜索、网页内容提取、站点映射和爬取能力的 MCP 服务器,基于 Tavily API。
一个用 Go 编写的 MCP 服务器,为 LLM 提供网页搜索、图片搜索和网页转 Markdown 抓取,无需 API Key。
让 AI 智能体调用 Apify Store 中的爬虫与自动化工具,从社交媒体、搜索引擎、地图和网站提取数据。