Scrapy 是一个 Python 网页抓取与爬虫框架,用于从网站中提取结构化数据。
6.5万+129 本周1.2万PythonBSD-3-Clause更新于 17小时前
一个用 Go 编写的网页爬虫与抓取框架,用于从网站中提取结构化数据。
Colly 是一个用于 Go 的爬虫与抓取框架,提供简洁的接口来编写各类爬虫和抓取程序,把网站上的内容提取为结构化数据,可用于数据挖掘、数据处理或网页归档。
框架的核心是 Collector,负责访问 URL、解析 HTML,并通过回调函数处理匹配的元素,也可以自动跟进页面中发现的链接。它支持按域名控制请求延迟和最大并发数,自动处理 Cookie 与会话,并可同步、异步或并行抓取。此外还内置 robots.txt 支持、响应缓存,以及对非 UTF-8 页面的自动编码转换。
项目以 Go 模块形式发布(github.com/gocolly/colly/v2),支持通过环境变量进行配置,并可通过扩展机制增强功能。
使用 go get 安装 Colly v2 包
go get github.com/gocolly/colly/v2创建包含 README 示例代码的 main.go 文件并运行
概要由 AI 根据项目 README 生成;GitHub 数据每日更新。
Scrapy 是一个 Python 网页抓取与爬虫框架,用于从网站中提取结构化数据。
Python 3 库,用于抓取新闻文章并提取正文、作者、发布时间、图片、关键词和摘要。
一个 Python 网页抓取库,通过页面上的示例数据自动学习抓取规则,并应用到同类页面。
用 Rust 编写的高并发网页爬取与抓取引擎,仅在需要时才渲染 JavaScript。
基于 asyncio 和 aiohttp 的异步 Python 网页爬虫微框架,让抓取 URL 更简便。
Python 网页抓取框架,覆盖单次请求、隐身浏览器、解析到并发爬取与数据导出的完整流程。