Python 网页抓取框架，覆盖单次请求、隐身浏览器、解析到并发爬取与数据导出的完整流程。
8.9万9146PythonBSD-3-Clause更新于 前天
codelucas/newspaper
Python 3 库，用于抓取新闻文章并提取正文、作者、发布时间、图片、关键词和摘要。
- Star
- 15,180
- Fork
- 2,107
- 未关闭 Issue
- 515
- 最近提交
- 前天
这是什么？
newspaper3k 是一个 Python 3 库，用于从网址抓取新闻文章，并把原始 HTML 转换为结构化数据。给定文章链接后，它会下载页面并提取标题、正文、作者、发布日期、头图和嵌入视频，还能通过自然语言处理生成关键词和摘要。
除了单篇文章，它还能爬取新闻网站的首页和分类页，发现文章链接并列出站点分类。独立的 fulltext 函数可直接处理已获取的 HTML。未指定语言时会自动检测，并支持 35 种以上语言，包括中文、日文、阿拉伯语和俄语。
项目通过 pip 以 newspaper3k 包名安装，采用 MIT 许可证，是原 newspaper 包的 Python 3 版本。
核心功能
- 01从网址提取文章标题、正文、作者和发布日期
- 02提取文章头图、全部图片和嵌入视频
- 03通过内置自然语言处理生成关键词和摘要
- 04爬取新闻站点，发现文章链接和分类
- 05自动检测语言，支持 35 种以上语言
适用场景
- 构建聚合或舆情监控系统，从多个站点收集新闻
- 为 NLP、搜索索引或数据集提取干净的正文
- 连同元数据和图片归档文章
- 处理中文或其他非英文新闻内容
快速上手
- 1
使用 pip 安装该包
pip3 install newspaper3k - 2
运行 README 中的官方语料下载脚本（NLP 功能需要）
使用前须知
- 在 Debian/Ubuntu 等 Linux 系统上，需要先安装 libxml2、libxslt 等系统库。
- 关键词和摘要等 NLP 功能需要额外下载语料。
标签
常见问题
- newspaper 是什么？
- Python 3 库，用于抓取新闻文章并提取正文、作者、发布时间、图片、关键词和摘要。 newspaper3k 是一个 Python 3 库，用于从网址抓取新闻文章，并把原始 HTML 转换为结构化数据。给定文章链接后，它会下载页面并提取标题、正文、作者、发布日期、头图和嵌入视频，还能通过自然语言处理生成关键词和摘要。
- newspaper 可以免费使用吗？用的什么许可证？
- newspaper 以 MIT 许可证开源。用于商业产品前，请先确认许可证条款。
- newspaper 还在维护吗？
- 活跃维护中。newspaper 最近一次提交是在 2026年10月19日。
- newspaper 适合用来做什么？
- 构建聚合或舆情监控系统，从多个站点收集新闻 为 NLP、搜索索引或数据集提取干净的正文 连同元数据和图片归档文章 处理中文或其他非英文新闻内容
- newspaper 怎么安装和运行？
- 使用 pip 安装该包: pip3 install newspaper3k 运行 README 中的官方语料下载脚本（NLP 功能需要）
- 在哪里获取 newspaper？
- 源代码和安装说明在 GitHub 上：https://github.com/codelucas/newspaper
概要由 AI 根据项目 README 生成；GitHub 数据每日更新。
相关项目
用于抓取网页并从 HTML 中提取正文、元数据和评论的 Python 库与命令行工具。
6995460PythonApache-2.0更新于 15天前
轻量级 Python 包，可搜索 Google News 文章并以 JSON 格式返回结果，还支持提取全文。
1018153PythonMIT更新于 12天前
一个基于 LLM 与图结构流水线的 Python 网页抓取库，按自然语言描述提取结构化数据。
3.2万3369PythonMIT更新于 15天前
用 Rust 编写的高并发网页爬取与抓取引擎，仅在需要时才渲染 JavaScript。
2790316RustMIT更新于 昨天
可视化、无代码的网页爬虫与浏览器自动化工具，通过在网页上点选元素即可设计采集任务。
4.5万5394JavaScriptAGPL-3.0更新于 前天