m92vyas/llm-reader

这是什么？

核心功能

• 01将网页 HTML 转换为适合 LLM 输入的文本。
• 02保留网站链接和图片链接，便于信息抽取。
• 03支持表格内容处理，适合结构化数据抓取。
• 04使用 Playwright 进行异步并发的页面获取。
• 05可接入自有爬虫或第三方服务提供的 HTML。

适用场景

• 将网页内容送入 RAG 检索管道。
• 借助 LLM 从电商页面提取商品名称、链接和价格。
• 为需要读取 URL 内容的 AI 智能体提供可读文本。

快速上手

1. 1

   使用 pip 从 GitHub 安装该库

   pip install git+https://github.com/m92vyas/llm-reader.git
2. 2

   下载 Playwright 浏览器

   playwright install
3. 3

   安装 Playwright 系统依赖

   playwright install-deps
4. 4

   导入 get_page_source 和 get_processed_text，然后在代码中抓取网页并转换为适合 LLM 的文本

使用前须知

• !抓取网页依赖 Playwright，需要下载浏览器并安装系统依赖。
• !对于屏蔽爬虫的网站，可能需要付费代理或抓取服务。

收录于专题

标签

常见问题

llm-reader 是什么？

将网页转换为适合大语言模型输入的文本的 Python 库，保留链接和表格，便于 RAG 与网页抓取。 llm-reader 是一个 Python 库，可将网页转换为适合大语言模型输入的整洁文本。在把页面交给模型之前先做预处理，可以提高信息抽取的准确性，尤其是需要提取网站链接、图片链接或表格的场景，例如抓取电商商品列表。

llm-reader 可以免费使用吗？用的什么许可证？

llm-reader 以 MIT 许可证开源。用于商业产品前，请先确认许可证条款。

llm-reader 还在维护吗？

活跃维护中。llm-reader 最近一次提交是在 2026年10月20日。

llm-reader 适合用来做什么？

将网页内容送入 RAG 检索管道。 借助 LLM 从电商页面提取商品名称、链接和价格。 为需要读取 URL 内容的 AI 智能体提供可读文本。

llm-reader 怎么安装和运行？

使用 pip 从 GitHub 安装该库: pip install git+https://github.com/m92vyas/llm-reader.git 下载 Playwright 浏览器: playwright install 安装 Playwright 系统依赖: playwright install-deps 导入 get_page_source 和 get_processed_text，然后在代码中抓取网页并转换为适合 LLM 的文本

在哪里获取 llm-reader？

源代码和安装说明在 GitHub 上：https://github.com/m92vyas/llm-reader