Repolode
StarTrail-org

StarTrail-org/PixelRAG

开源的视觉检索增强生成(RAG)流程,将网页和 PDF 渲染为截图进行检索,保留表格与图表信息。

Star
10,309
Fork
910
未关闭 Issue
19
最近提交
5天前

这是什么?

PixelRAG 把文档当作图像而不是文本来处理。它将网页、PDF 和图片渲染为截图分块,用 Qwen3-VL-Embedding 模型生成向量,并在 FAISS 或 Qdrant 索引中检索。由于版面、表格、图表和信息图都得以保留,阅读模型可以回答那些在 HTML 解析成文本块后会丢失的问题。

项目包含多个组件:基于 Playwright/CDP 的 pixelshot 截图命令行工具,负责分块、向量化、建索引和 FastAPI 检索服务的 pixelrag 命令,以及位于独立 train/ 项目中的 LoRA 微调方案。项目还提供基于 826 万篇 Wikipedia 页面预构建索引的在线检索接口,并可通过插件让 Claude Code 或 opencode 使用同样的网页渲染能力。

核心功能

  • 01通过 pixelshot 将网页和 PDF 渲染为截图分块。
  • 02使用 Qwen3-VL-Embedding 模型为页面图像生成向量,并支持 LoRA 微调。
  • 03构建 FAISS 或 Qdrant 索引,并通过 FastAPI 接口提供检索服务。
  • 04支持以图片作为查询进行视觉检索。
  • 05可在 Linux(CUDA)和 macOS(Apple Silicon MPS)上运行。

适用场景

  • 对关键数据依赖表格和图表的文档进行问答。
  • 让 AI 编程助手以图片形式读取网页,而不是原始 HTML。
  • 在本地机器上为私有 PDF 集合建立视觉检索索引。

快速上手

  1. 1

    安装软件包

    pip install pixelrag
  2. 2

    将网页渲染为截图瓦片

    pixelshot https://en.wikipedia.org/wiki/Python --output ./tiles
  3. 3

    或无需设置直接查询托管的维基百科索引

    curl -X POST https://api.pixelrag.ai/search -H "Content-Type: application/json" -d '{"queries": [{"text": "What is the capital of France?"}], "n_docs": 5}'

使用前须知

  • 构建自己的索引需要 Qwen3-VL 嵌入模型,资源占用较大,最好配备 GPU 或 Apple Silicon。
  • 在 Windows 和 macOS 上需要系统已安装 Chrome 或 Chromium,因为内置的无头浏览器仅在 linux-x64 上自动安装。
  • 完整的预构建索引下载约为 217 GB。

标签

常见问题

PixelRAG 是什么?
开源的视觉检索增强生成(RAG)流程,将网页和 PDF 渲染为截图进行检索,保留表格与图表信息。 PixelRAG 把文档当作图像而不是文本来处理。它将网页、PDF 和图片渲染为截图分块,用 Qwen3-VL-Embedding 模型生成向量,并在 FAISS 或 Qdrant 索引中检索。由于版面、表格、图表和信息图都得以保留,阅读模型可以回答那些在 HTML 解析成文本块后会丢失的问题。
PixelRAG 可以免费使用吗?用的什么许可证?
PixelRAG 以 Apache-2.0 许可证开源。用于商业产品前,请先确认许可证条款。
PixelRAG 还在维护吗?
活跃维护中。PixelRAG 最近一次提交是在 2026年10月14日。
PixelRAG 适合用来做什么?
对关键数据依赖表格和图表的文档进行问答。 让 AI 编程助手以图片形式读取网页,而不是原始 HTML。 在本地机器上为私有 PDF 集合建立视觉检索索引。
PixelRAG 怎么安装和运行?
安装软件包: pip install pixelrag 将网页渲染为截图瓦片: pixelshot https://en.wikipedia.org/wiki/Python --output ./tiles 或无需设置直接查询托管的维基百科索引: curl -X POST https://api.pixelrag.ai/search -H "Content-Type: application/json" -d '{"queries": [{"text": "What is the capital of France?"}], "n_docs": 5}'
在哪里获取 PixelRAG?
源代码和安装说明在 GitHub 上:https://github.com/StarTrail-org/PixelRAG

概要由 AI 根据项目 README 生成;GitHub 数据每日更新。

相关项目