Python 网页抓取框架，覆盖单次请求、隐身浏览器、解析到并发爬取与数据导出的完整流程。
8.9万9146PythonBSD-3-Clause更新于 昨天
- Star
- 6,995
- Fork
- 460
- 未关闭 Issue
- 92
- 最近提交
- 14天前
这是什么？
Trafilatura 是一个用于从网络收集文本的 Python 库和命令行工具。它覆盖网站发现（站点地图、订阅源和 URL 过滤）、页面下载，以及正文、标题、作者、日期等元数据的提取，还可选择提取评论、链接、图片和表格。它的目标是去除页眉、页脚、导航等模板化内容，只保留文章主体。
正文提取基于自研规则，并以 jusText 和 readability-lxml 作为备选方案。输出可保存为 TXT、Markdown、CSV、JSON、HTML、XML 或 XML-TEI 格式。整个工具无需数据库，可直接嵌入脚本和数据处理流程。
它常用于构建文本语料库和 NLP 数据集，也支持语言检测，并提供 R 语言接口。
核心功能
- 01通过站点地图以及 RSS、Atom、JSON 订阅源发现 URL，并支持过滤和去重。
- 02从 HTML 中提取正文、标题、作者、日期、分类和标签。
- 03可选提取评论、链接、图片和表格。
- 04支持输出 TXT、Markdown、CSV、JSON、HTML、XML 和 XML-TEI。
- 05既可处理在线 URL，也可处理已下载的 HTML 文件。
- 06同时提供 Python 库和命令行工具。
适用场景
- 为 NLP 或语言学研究构建文本语料库。
- 从网站和订阅源收集新闻文章用于分析。
- 为 LLM 或 RAG 流程准备干净的网页文本。
- 无需为每个网站编写专门解析器即可抓取文章正文。
快速上手
- 1
按照文档中的安装指南安装 Trafilatura
- 2
导入 fetch_url 和 extract，按照 README 中的 Python 示例下载网页并提取正文和元数据
使用前须知
- v1.8.0 之前的版本采用 GPLv3+ 许可证，而非 Apache 2.0。
标签
常见问题
- trafilatura 是什么？
- 用于抓取网页并从 HTML 中提取正文、元数据和评论的 Python 库与命令行工具。 Trafilatura 是一个用于从网络收集文本的 Python 库和命令行工具。它覆盖网站发现（站点地图、订阅源和 URL 过滤）、页面下载，以及正文、标题、作者、日期等元数据的提取，还可选择提取评论、链接、图片和表格。它的目标是去除页眉、页脚、导航等模板化内容，只保留文章主体。
- trafilatura 可以免费使用吗？用的什么许可证？
- trafilatura 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。
- trafilatura 还在维护吗？
- 活跃维护中。trafilatura 最近一次提交是在 2026年10月6日。
- trafilatura 适合用来做什么？
- 为 NLP 或语言学研究构建文本语料库。 从网站和订阅源收集新闻文章用于分析。 为 LLM 或 RAG 流程准备干净的网页文本。 无需为每个网站编写专门解析器即可抓取文章正文。
- trafilatura 怎么安装和运行？
- 按照文档中的安装指南安装 Trafilatura 导入 fetch_url 和 extract，按照 README 中的 Python 示例下载网页并提取正文和元数据
- 在哪里获取 trafilatura？
- 源代码和安装说明在 GitHub 上：https://github.com/adbar/trafilatura
概要由 AI 根据项目 README 生成；GitHub 数据每日更新。
相关项目
开源网页数据平台，可将网站转换为结构化 API，支持抓取、爬取、搜索、监控和 AI 数据提取。
1.8万1550TypeScriptAGPL-3.0更新于 前天
用 Rust 编写的高并发网页爬取与抓取引擎，仅在需要时才渲染 JavaScript。
2790316RustMIT更新于 8小时前
开源 Python 网页爬虫，可将任意网站转为干净、适合 LLM 使用的 Markdown，并支持结构化数据提取。
8.6万8924PythonApache-2.0更新于 前天
一个基于 LLM 与图结构流水线的 Python 网页抓取库，按自然语言描述提取结构化数据。
3.2万3384PythonMIT更新于 14天前
Chrome 扩展，识别网站使用的反爬系统、验证码和指纹技术，并给出置信度。
61170JavaScriptOther更新于 4天前