Repolode
投稿する
StarTrail-org

StarTrail-org/PixelRAG

WebページやPDFをスクリーンショット化して画像検索し、表やグラフを保持したままRAGに活用できるオープンソースパイプライン。

GitHub で見る公式サイト
スター
10,309
フォーク
910
未解決の Issue
19
最終コミット
5 日前

これは何？

PixelRAGは、文書をテキストではなく画像として扱います。Webページ、PDF、画像をスクリーンショットのタイルに変換し、Qwen3-VL-Embeddingモデルで埋め込みを生成して、FAISSまたはQdrantのインデックスを検索します。レイアウト、表、グラフ、インフォグラフィックがそのまま保たれるため、HTMLを解析する際にテキストのチャンク化パイプラインでは失われてしまう情報も、リーダーモデルが質問に答える際に利用できます。

プロジェクトには複数のツールが含まれています。Playwright/CDP経由でキャプチャするpixelshot CLI、チャンク化、埋め込み生成、インデックス構築、FastAPI検索サーバーをまとめたpixelragコマンド、そして別のtrain/プロジェクトにあるLoRAファインチューニングのレシピです。Wikipediaの828万ページを事前にインデックス化したホスト型検索APIも利用できます。また、同じレンダリング機能をプラグイン経由でClaude Codeやopencodeから使えます。

主な機能

  • 01pixelshotを使って、WebページやPDFをスクリーンショットのタイルに変換します。
  • 02Qwen3-VL-Embeddingモデルでページ画像の埋め込みを生成します。このモデルはLoRAでファインチューニングできます。
  • 03FAISSまたはQdrantのインデックスを構築し、FastAPIエンドポイント経由で検索を提供します。
  • 04画像をクエリに使ったビジュアル検索に対応しています。
  • 05CUDA搭載のLinuxと、Apple Silicon MPS搭載のmacOSで動作します。

ユースケース

  • 表やグラフに重要な数値が含まれる文書について、質問に回答する。
  • AIコーディングエージェントに、生のHTMLではなく画像としてWebページを読み取らせる。
  • ローカルマシンでビジュアル検索できるよう、非公開のPDFコレクションをインデックス化する。

トピック

#rag#multimodal#vision#vector-search#embeddings#screenshot#faiss#qdrant#agent#ai

よくある質問

PixelRAG とは？
WebページやPDFをスクリーンショット化して画像検索し、表やグラフを保持したままRAGに活用できるオープンソースパイプライン。 PixelRAGは、文書をテキストではなく画像として扱います。Webページ、PDF、画像をスクリーンショットのタイルに変換し、Qwen3-VL-Embeddingモデルで埋め込みを生成して、FAISSまたはQdrantのインデックスを検索します。レイアウト、表、グラフ、インフォグラフィックがそのまま保たれるため、HTMLを解析する際にテキストのチャンク化パイプラインでは失われてしまう情報も、リーダーモデルが質問に答える際に利用できます。
PixelRAG は無料で使えますか？ライセンスは？
PixelRAG は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
PixelRAG は今もメンテナンスされていますか？
活発にメンテナンス中。PixelRAG の最終コミットは 2026年10月14日 です。
PixelRAG は何に使えますか？
表やグラフに重要な数値が含まれる文書について、質問に回答する。 AIコーディングエージェントに、生のHTMLではなく画像としてWebページを読み取らせる。 ローカルマシンでビジュアル検索できるよう、非公開のPDFコレクションをインデックス化する。
PixelRAG はどこで入手できますか？
ソースコードとインストール手順は GitHub にあります：https://github.com/StarTrail-org/PixelRAG

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト