开源 Python 网页爬虫,可将任意网站转为干净、适合 LLM 使用的 Markdown,并支持结构化数据提取。
- Star
- 17,904
- Fork
- 1,550
- 未关闭 Issue
- 111
- 最近提交
- 昨天
这是什么?
Maxun 是一个可自托管的网页数据采集平台。用户可以在可视化界面中录制浏览器操作,生成可复用的提取机器人;也可以用自然语言描述所需数据,交由 AI 完成提取。机器人既可以手动运行,也可以定时执行,输出结构化数据。
除字段提取外,Maxun 还支持将整页转换为 Markdown 或 HTML 并截图、对整个站点进行多页爬取,以及带时间过滤条件的网页搜索。监控功能可以长期跟踪页面、检测变化并在变化发生时发送通知。平台还能从文档中解析出结构化数据。
使用方式包括托管版应用、REST API、Node.js SDK、命令行工具,以及用于连接 AI 智能体的 MCP 服务。项目支持通过 Docker 或非 Docker 方式在本地部署。
核心功能
- 01录制浏览器操作,生成可复用的数据提取机器人。
- 02用自然语言描述所需数据,由 AI 完成提取。
- 03将网页转换为 Markdown 或 HTML,并支持截图。
- 04爬取整个网站并提取跨页面内容。
- 05监控页面变化并发送通知。
- 06支持仪表盘、API、SDK、命令行和 MCP 服务等多种调用方式。
适用场景
- 为没有公开 API 的网站搭建结构化数据源,供内部工具调用。
- 跟踪竞品价格或商品列表,并在变化时收到提醒。
- 将网页内容转换为 Markdown,供 LLM 或 AI 智能体使用。
- 无需编写爬虫代码,即可定时执行数据采集任务。
标签
常见问题
- maxun 是什么?
- 开源网页数据平台,可将网站转换为结构化 API,支持抓取、爬取、搜索、监控和 AI 数据提取。 Maxun 是一个可自托管的网页数据采集平台。用户可以在可视化界面中录制浏览器操作,生成可复用的提取机器人;也可以用自然语言描述所需数据,交由 AI 完成提取。机器人既可以手动运行,也可以定时执行,输出结构化数据。
- maxun 可以免费使用吗?用的什么许可证?
- maxun 以 AGPL-3.0 许可证开源。用于商业产品前,请先确认许可证条款。
- maxun 还在维护吗?
- 活跃维护中。maxun 最近一次提交是在 2026年10月18日。
- maxun 适合用来做什么?
- 为没有公开 API 的网站搭建结构化数据源,供内部工具调用。 跟踪竞品价格或商品列表,并在变化时收到提醒。 将网页内容转换为 Markdown,供 LLM 或 AI 智能体使用。 无需编写爬虫代码,即可定时执行数据采集任务。
- 在哪里获取 maxun?
- 源代码和安装说明在 GitHub 上:https://github.com/getmaxun/maxun
概要由 AI 根据项目 README 生成;GitHub 数据每日更新。
相关项目
8.6万8924PythonApache-2.0更新于 9小时前
一个基于 LLM 与图结构流水线的 Python 网页抓取库,按自然语言描述提取结构化数据。
3.2万3384PythonMIT更新于 13天前
一个运行在你自己设备上的个人 AI 助手,可通过 WhatsApp、Telegram、Slack、Discord 等聊天工具与你交互。
39.2万8.2万TypeScriptMIT更新于 3小时前
可自托管的服务可用性监控工具,支持 HTTP、TCP、DNS、Ping、Docker 等多种监控方式。
9.3万8570JavaScriptMIT更新于 3小时前
可自托管的开源 Airtable 替代品,把 PostgreSQL、SQLite 等数据库变成表格式界面并自动生成 API。
6.5万5094TypeScriptOther更新于 3小时前
自托管的 OpenAI 兼容 AI 引擎,可在任意硬件(含纯 CPU)上运行大模型、视觉、语音、图像和视频模型。
5万4507GoMIT更新于 3小时前