Python 网页抓取框架,覆盖单次请求、隐身浏览器、解析到并发爬取与数据导出的完整流程。
ranahaani/GNews
轻量级 Python 包,可搜索 Google News 文章并以 JSON 格式返回结果,还支持提取全文。
- Star
- 1,018
- Fork
- 153
- 未关闭 Issue
- 0
- 最近提交
- 11天前
这是什么?
GNews 是一个用于搜索 Google News 的 Python 包。它可以按关键词、主题、地理位置或网站查询 Google News RSS 源,并以 JSON 返回每篇文章的标题、摘要、发布时间、链接和发布方。搜索结果可按语言、国家、时间范围、日期区间以及排除的网站进行筛选。
除搜索结果外,安装可选的 fulltext 扩展后,GNews 还能抓取文章全文,无需自行编写正文抓取代码。它同时提供命令行工具、JSON 和 CSV 导出,以及搜索方法的异步版本。安装可选的 Playwright 扩展后,可以把 Google News 的跳转链接解析为真实文章地址。
传入 API Key 即可启用可选的 SearchApi 后端,获得 ISO 日期、缩略图和超过 RSS 结果上限的分页等字段。GNews 还支持标准的 requests 风格代理配置。
核心功能
- 01可按关键词、主题、地点或网站搜索 Google News,并返回 JSON 结果。
- 02支持按语言、国家、时间范围、日期区间和排除网站筛选结果。
- 03通过可选扩展抓取文章全文。
- 04提供带 JSON 输出的命令行工具。
- 05可将结果导出为 JSON 和 CSV 文件。
- 06所有搜索方法均提供异步版本。
适用场景
- 围绕某个主题收集新闻,用于舆情监测或分析。
- 用 Python 基于 Google News 结果构建新闻列表或数据看板。
- 为情感分析或自然语言处理实验准备新闻数据集。
- 通过命令行脚本定时拉取每日头条。
快速上手
- 1
安装软件包
pip install gnews - 2
在 Python 中按关键词获取新闻
from gnews import GNews
使用前须知
- 结果来自 Google News RSS 订阅源,因此输出取决于 Google News 的行为。
- 大量抓取可能导致 IP 被限速,README 建议为此使用付费代理服务。
- 全文提取和 URL 解析需要可选依赖(fulltext、playwright)以及安装 Chromium。
标签
常见问题
- GNews 是什么?
- 轻量级 Python 包,可搜索 Google News 文章并以 JSON 格式返回结果,还支持提取全文。 GNews 是一个用于搜索 Google News 的 Python 包。它可以按关键词、主题、地理位置或网站查询 Google News RSS 源,并以 JSON 返回每篇文章的标题、摘要、发布时间、链接和发布方。搜索结果可按语言、国家、时间范围、日期区间以及排除的网站进行筛选。
- GNews 可以免费使用吗?用的什么许可证?
- GNews 以 MIT 许可证开源。用于商业产品前,请先确认许可证条款。
- GNews 还在维护吗?
- 活跃维护中。GNews 最近一次提交是在 2026年10月9日。
- GNews 适合用来做什么?
- 围绕某个主题收集新闻,用于舆情监测或分析。 用 Python 基于 Google News 结果构建新闻列表或数据看板。 为情感分析或自然语言处理实验准备新闻数据集。 通过命令行脚本定时拉取每日头条。
- GNews 怎么安装和运行?
- 安装软件包: pip install gnews 在 Python 中按关键词获取新闻: from gnews import GNews
- 在哪里获取 GNews?
- 源代码和安装说明在 GitHub 上:https://github.com/ranahaani/GNews
概要由 AI 根据项目 README 生成;GitHub 数据每日更新。
相关项目
一个 Python 工具和命令行程序,无需登录即可下载 YouTube、Twitch、Zoom 直播与录像的聊天消息。
开源 Python 库,用于构建能操控真实浏览器的 AI 智能体,可选接入 Browser Use Cloud 云端浏览器。
可自托管的网页变化监控工具,页面变化时通过 Discord、邮件、Slack 等渠道提醒。
一个基于 LLM 与图结构流水线的 Python 网页抓取库,按自然语言描述提取结构化数据。
开源自主研究智能体,自动规划研究问题、收集网页与本地资料,并调用任意 LLM 生成带引用的报告。