Repolode
提交项目
alirezamika

alirezamika/autoscraper

一个 Python 网页抓取库，通过页面上的示例数据自动学习抓取规则，并应用到同类页面。

在 GitHub 查看
Star
8,074
Fork
831
未关闭 Issue
2
最近提交
3个月前

这是什么？

AutoScraper 是一个 Python 库，无需手写选择器即可从网页中提取数据。你只需提供页面的 URL 或 HTML 内容，再给出想要的示例数据，可以是文本、链接或某些 HTML 标签的值，库会学习定位这些元素的规则，并返回页面中的同类内容。

构建完成后，抓取模型可以保存到本地并在之后加载。它既能从结构相似的其他页面中获取同类内容，也能按示例的顺序从新的 URL 中精确提取对应元素。代理、自定义请求头等 requests 参数也可以直接传入。

该库支持 Python 3，可通过 PyPI 或 Git 仓库安装。

核心功能

  • 01根据少量示例值学习抓取规则，无需手写选择器。
  • 02可提取文本、URL 或指定 HTML 标签的值。
  • 03从结构相似的其他页面中返回同类元素。
  • 04支持保存和加载训练好的抓取模型。
  • 05支持传入代理、请求头等 requests 自定义参数。

适用场景

  • 从多个结构相同的页面中批量提取标题或价格。
  • 将保存的抓取模型封装到 Web 框架中，把网站转为简单的 API。
  • 无需编写 CSS 或 XPath 选择器，快速搭建抓取原型。

快速上手

  1. 1

    从 PyPI 安装库

    pip install autoscraper
  2. 2

    导入 AutoScraper，用网址和示例数据构建抓取器，然后获取相似结果

使用前须知

  • 当页面的 HTML 结构发生变化时，已学习的规则可能失效。
  • README 未说明对 JavaScript 动态渲染内容的支持，因此动态加载的内容可能无法抓取。

标签

#web-scraping#python#scraper#automation#crawler#data-extraction#ai#artificial-intelligence#machine-learning#scrape

常见问题

autoscraper 是什么？
一个 Python 网页抓取库，通过页面上的示例数据自动学习抓取规则，并应用到同类页面。 AutoScraper 是一个 Python 库，无需手写选择器即可从网页中提取数据。你只需提供页面的 URL 或 HTML 内容，再给出想要的示例数据，可以是文本、链接或某些 HTML 标签的值，库会学习定位这些元素的规则，并返回页面中的同类内容。
autoscraper 可以免费使用吗？用的什么许可证？
autoscraper 以 MIT 许可证开源。用于商业产品前，请先确认许可证条款。
autoscraper 还在维护吗？
半年内有更新。autoscraper 最近一次提交是在 2026年7月29日。
autoscraper 适合用来做什么？
从多个结构相同的页面中批量提取标题或价格。 将保存的抓取模型封装到 Web 框架中，把网站转为简单的 API。 无需编写 CSS 或 XPath 选择器，快速搭建抓取原型。
autoscraper 怎么安装和运行？
从 PyPI 安装库: pip install autoscraper 导入 AutoScraper，用网址和示例数据构建抓取器，然后获取相似结果
在哪里获取 autoscraper？
源代码和安装说明在 GitHub 上：https://github.com/alirezamika/autoscraper

概要由 AI 根据项目 README 生成；GitHub 数据每日更新。

相关项目