Repolode
gocolly

gocolly/colly

一个用 Go 编写的网页爬虫与抓取框架,用于从网站中提取结构化数据。

Star
25,578
Fork
1,857
未关闭 Issue
194
最近提交
22天前

这是什么?

Colly 是一个用于 Go 的爬虫与抓取框架,提供简洁的接口来编写各类爬虫和抓取程序,把网站上的内容提取为结构化数据,可用于数据挖掘、数据处理或网页归档。

框架的核心是 Collector,负责访问 URL、解析 HTML,并通过回调函数处理匹配的元素,也可以自动跟进页面中发现的链接。它支持按域名控制请求延迟和最大并发数,自动处理 Cookie 与会话,并可同步、异步或并行抓取。此外还内置 robots.txt 支持、响应缓存,以及对非 UTF-8 页面的自动编码转换。

项目以 Go 模块形式发布(github.com/gocolly/colly/v2),支持通过环境变量进行配置,并可通过扩展机制增强功能。

核心功能

  • 01简洁的 API,可为匹配的 HTML 元素注册回调
  • 02支持按域名设置请求延迟与并发上限
  • 03自动处理 Cookie 和会话
  • 04支持同步、异步和并行抓取模式
  • 05提供响应缓存与 robots.txt 支持
  • 06自动转换非 Unicode 页面的编码

适用场景

  • 将电商网站的商品列表或价格提取到数据库中
  • 从网站收集文章或内容用于数据分析
  • 按计划归档或镜像网页
  • 遍历网站,发现并访问其所有链接

快速上手

  1. 1

    使用 go get 安装 Colly v2 包

    go get github.com/gocolly/colly/v2
  2. 2

    创建包含 README 示例代码的 main.go 文件并运行

收录于专题

标签

常见问题

colly 是什么?
一个用 Go 编写的网页爬虫与抓取框架,用于从网站中提取结构化数据。 Colly 是一个用于 Go 的爬虫与抓取框架,提供简洁的接口来编写各类爬虫和抓取程序,把网站上的内容提取为结构化数据,可用于数据挖掘、数据处理或网页归档。
colly 可以免费使用吗?用的什么许可证?
colly 以 Apache-2.0 许可证开源。用于商业产品前,请先确认许可证条款。
colly 还在维护吗?
活跃维护中。colly 最近一次提交是在 2026年10月16日。
colly 适合用来做什么?
将电商网站的商品列表或价格提取到数据库中 从网站收集文章或内容用于数据分析 按计划归档或镜像网页 遍历网站,发现并访问其所有链接
colly 怎么安装和运行?
使用 go get 安装 Colly v2 包: go get github.com/gocolly/colly/v2 创建包含 README 示例代码的 main.go 文件并运行
在哪里获取 colly?
源代码和安装说明在 GitHub 上:https://github.com/gocolly/colly

概要由 AI 根据项目 README 生成;GitHub 数据每日更新。

相关项目