Repolode
提交项目
ScrapeGraphAI

ScrapeGraphAI/Scrapegraph-ai

一个基于 LLM 与图结构流水线的 Python 网页抓取库，按自然语言描述提取结构化数据。

可替代:Firecrawl

在 GitHub 查看官网
Star
31,952
Fork
3,384
未关闭 Issue
23
最近提交
13天前

这是什么？

ScrapeGraphAI 是一个 Python 网页抓取库，用自然语言提示词代替手写选择器。你描述需要的信息，库会搭建抓取流水线：获取页面内容、交给 LLM 处理，并以字典形式返回提取结果。输入既可以是网址，也可以是 XML、HTML、JSON、Markdown 等本地文档。

库内置多种流水线：SmartScraperGraph 用于单页抓取，SearchGraph 用于抓取搜索引擎前 n 个结果，SpeechGraph 可生成音频，ScriptCreatorGraph 可生成 Python 脚本。多页版本支持并行调用 LLM。模型既可通过 OpenAI、Groq、Azure、Gemini 等 API 调用，也可借助 Ollama 在本地运行。

开源库需要自行部署，浏览器渲染（Playwright）、代理与扩展都由使用者负责。项目同时提供托管的云端 API 以及 Python、JavaScript SDK，适合希望免运维的团队。

核心功能

  • 01根据自然语言提示词从页面中提取数据。
  • 02支持网页地址以及 XML、HTML、JSON、Markdown 等本地文件。
  • 03提供单页和多页流水线，包括搜索结果抓取。
  • 04可生成语音输出或可复用的 Python 抓取脚本。
  • 05兼容云端 LLM 服务商，也支持通过 Ollama 使用本地模型。

适用场景

  • 从一批网站中提取公司简介、创始人信息或联系方式。
  • 无需维护 CSS 或 XPath 选择器即可获取结构化数据。
  • 将清洗后的网页内容提供给 AI 智能体或 RAG 流程。
  • 借助本地模型运行抓取任务，让数据留在自有基础设施内。

标签

#web-scraping#llm#data-extraction#python#crawler#rag#ollama#ai-crawler#ai-scraping#ai-search

常见问题

Scrapegraph-ai 是什么？
一个基于 LLM 与图结构流水线的 Python 网页抓取库，按自然语言描述提取结构化数据。 ScrapeGraphAI 是一个 Python 网页抓取库，用自然语言提示词代替手写选择器。你描述需要的信息，库会搭建抓取流水线：获取页面内容、交给 LLM 处理，并以字典形式返回提取结果。输入既可以是网址，也可以是 XML、HTML、JSON、Markdown 等本地文档。
Scrapegraph-ai 可以免费使用吗？用的什么许可证？
Scrapegraph-ai 以 MIT 许可证开源。用于商业产品前，请先确认许可证条款。
Scrapegraph-ai 还在维护吗？
活跃维护中。Scrapegraph-ai 最近一次提交是在 2026年10月6日。
Scrapegraph-ai 适合用来做什么？
从一批网站中提取公司简介、创始人信息或联系方式。 无需维护 CSS 或 XPath 选择器即可获取结构化数据。 将清洗后的网页内容提供给 AI 智能体或 RAG 流程。 借助本地模型运行抓取任务，让数据留在自有基础设施内。
在哪里获取 Scrapegraph-ai？
源代码和安装说明在 GitHub 上：https://github.com/ScrapeGraphAI/Scrapegraph-ai

概要由 AI 根据项目 README 生成；GitHub 数据每日更新。

相关项目