开源 Python 网页爬虫,可将任意网站转为干净、适合 LLM 使用的 Markdown,并支持结构化数据提取。
gosom/google-maps-scraper
开源 Go 工具,通过命令行、Web 界面或 REST API 抓取 Google 地图商户的名称、联系方式、评分、评论和邮箱等信息。
- Star
- 6,673
- Fork
- 1,045
- 未关闭 Issue
- 65
- 最近提交
- 27天前
这是什么?
Google Maps Scraper 从 Google 地图的搜索结果和地点页面中提取商户数据,每个地点可获取名称、地址、电话、网站、评分、评论数、经纬度和用户评论等字段,也可选择访问商户官网查找邮箱。结果可导出为 CSV 或 JSON,也支持写入 PostgreSQL、S3 或自定义写入插件。
它可以作为命令行工具运行,也可以通过本地 Web 界面或 REST API 创建和下载抓取任务。输入既可以是普通搜索关键词,也可以是 Google 地图链接;网格模式会把一个矩形区域切分成多个单元分别搜索,以覆盖单次搜索无法返回的范围。代理支持 SOCKS5、HTTP 和 HTTPS,并提供基于 PostgreSQL 的任务队列,便于在多台机器上分布式运行,项目还附有 Kubernetes 部署示例。
项目基于 Playwright 驱动的浏览器自动化,以 Docker 镜像或二进制文件形式分发。并发数、每个浏览器的页面数和浏览器进程池大小均可配置,用于在吞吐量与 CPU、内存占用之间取得平衡。
核心功能
- 01提取名称、地址、电话、网站、评分、经纬度等 30 多个地点字段。
- 02可选择访问商户官网收集邮箱地址。
- 03支持输出为 CSV、JSON、PostgreSQL、S3 或自定义写入插件。
- 04提供命令行、Web 界面和 REST API 来运行任务并下载结果。
- 05支持 SOCKS5 与 HTTP 代理、网格区域搜索以及断点续跑。
适用场景
- 按行业和城市整理本地商户的销售线索名单。
- 收集商户的联系方式和官网,用于外联或数据补全。
- 调研某一地区本地商户的评分和评论情况。
- 借助 PostgreSQL 队列在多台机器上进行大规模分布式抓取。
快速上手
- 1
创建输出文件夹
mkdir -p gmaps-output - 2
使用 Docker 并以查询文件运行爬虫
docker run -v gmaps-playwright-cache:/opt -v "$PWD/example-queries.txt:/queries.txt:ro" -v "$PWD/gmaps-output:/out" gosom/google-maps-scraper -input /queries.txt -results /out/results.csv -depth 1 -exit-on-inactivity 3m
使用前须知
- 抓取 Google 地图可能与 Google 的服务条款相冲突。
- 大规模抓取可能需要代理以避免被封锁。
标签
常见问题
- google-maps-scraper 是什么?
- 开源 Go 工具,通过命令行、Web 界面或 REST API 抓取 Google 地图商户的名称、联系方式、评分、评论和邮箱等信息。 Google Maps Scraper 从 Google 地图的搜索结果和地点页面中提取商户数据,每个地点可获取名称、地址、电话、网站、评分、评论数、经纬度和用户评论等字段,也可选择访问商户官网查找邮箱。结果可导出为 CSV 或 JSON,也支持写入 PostgreSQL、S3 或自定义写入插件。
- google-maps-scraper 可以免费使用吗?用的什么许可证?
- google-maps-scraper 以 MIT 许可证开源。用于商业产品前,请先确认许可证条款。
- google-maps-scraper 还在维护吗?
- 活跃维护中。google-maps-scraper 最近一次提交是在 2026年9月24日。
- google-maps-scraper 适合用来做什么?
- 按行业和城市整理本地商户的销售线索名单。 收集商户的联系方式和官网,用于外联或数据补全。 调研某一地区本地商户的评分和评论情况。 借助 PostgreSQL 队列在多台机器上进行大规模分布式抓取。
- google-maps-scraper 怎么安装和运行?
- 创建输出文件夹: mkdir -p gmaps-output 使用 Docker 并以查询文件运行爬虫: docker run -v gmaps-playwright-cache:/opt -v "$PWD/example-queries.txt:/queries.txt:ro" -v "$PWD/gmaps-output:/out" gosom/google-maps-scraper -input /queries.txt -results /out/results.csv -depth 1 -exit-on-inactivity 3m
- 在哪里获取 google-maps-scraper?
- 源代码和安装说明在 GitHub 上:https://github.com/gosom/google-maps-scraper
概要由 AI 根据项目 README 生成;GitHub 数据每日更新。
相关项目
面向浏览器智能体的 TypeScript、Python、Go SDK,可用自然语言执行操作、观察页面与提取数据。
基于 Streamlit 的 LLM 网页爬虫,可调用 OpenAI、Gemini、Ollama 等模型提取页面数据。
开源求职搜索引擎,直接从企业招聘系统抓取 IT 职位,可自托管。
面向 AI 智能体的网页搜索、抓取与交互 API,输出干净的 Markdown、JSON 和截图。
可自托管的开源核心协作平台,提供聊天、工作流自动化、语音通话、屏幕共享和 AI 集成。