Repolode
VectifyAI

VectifyAI/PageIndex

長文書を階層型ツリーインデックスに整理し、LLMがそのツリーをたどって回答を検索する、ベクトルDB不要のRAGエンジン。

スター
40,168
フォーク
3,456
未解決の Issue
151
最終コミット
9 時間前

これは何?

PageIndexは、財務報告書、法的文書、技術マニュアル、教科書など、長く複雑な文書向けの検索フレームワークです。テキストをチャンクに分割して埋め込みをベクトルデータベースに保存する代わりに、文書ごとに階層型ツリーインデックスを生成し、LLMがそのツリーを検索して関連箇所を見つけます。人が目次をたどるのに近い方法です。

Python SDK(pip install pageindex)を提供しており、自分のマシン上で独自のLLM APIキーを使ってインデックスを作成・保存するローカルモードと、インデックス作成、OCR、画像理解、保存をPageIndex Cloudに任せるクラウドモードがあります。ローカルモードはテキストベースのPDFを対象とし、クラウドモードではスキャン文書や画像の多い文書にも対応します。回答には出典への参照が含まれ、ローカルではページ単位、クラウドではブロック単位で示されます。

READMEでは、FinanceBenchでのベンチマーク結果と、PDF全体をモデルに渡す場合とのコスト比較が報告されていますが、いずれも作者自身による測定値です。

主な機能

  • 01ベクトルデータベースやチャンク分割を使わず、文書ごとにツリー構造のインデックスを作成します。
  • 02意味的類似性ではなく、LLMがツリーを推論しながら検索します。
  • 03ローカルモードでは、自分のマシン上で独自のLLM APIキーを使って動作します。
  • 04クラウドモードでは、OCR、画像理解、マネージドストレージを利用できます。
  • 05回答には、出典のページまたはブロックをたどれる参照が含まれます。

ユースケース

  • 長い財務報告書や規制関連文書を対象にした質問応答。
  • 正確なセクション参照が重要な、法的契約書や技術マニュアルの検索。
  • ベクトルストアを管理せずに、教科書や学術論文を対象としたRAGを構築。

クイックスタート

  1. 1

    PageIndexパッケージをインストールする

    pip install -U pageindex
  2. 2

    OpenAI APIキーを設定し、PDFからツリーインデックスを作成して質問する

使う前に知っておきたいこと

  • インデックス作成とチャットには、OpenAIなどのLLM APIキーまたはClaudeのサブスクリプションが必要です。
  • ローカルモードはテキストベースのPDF向けです。スキャン文書や画像の多い文書には、有料のCloudサービスが必要です。
  • 質問への回答精度とコストは、選択するチャットモデルによって異なります。

収録されている特集

トピック

よくある質問

PageIndex とは?
長文書を階層型ツリーインデックスに整理し、LLMがそのツリーをたどって回答を検索する、ベクトルDB不要のRAGエンジン。 PageIndexは、財務報告書、法的文書、技術マニュアル、教科書など、長く複雑な文書向けの検索フレームワークです。テキストをチャンクに分割して埋め込みをベクトルデータベースに保存する代わりに、文書ごとに階層型ツリーインデックスを生成し、LLMがそのツリーを検索して関連箇所を見つけます。人が目次をたどるのに近い方法です。
PageIndex は無料で使えますか?ライセンスは?
PageIndex は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
PageIndex は今もメンテナンスされていますか?
活発にメンテナンス中。PageIndex の最終コミットは 2026年11月7日 です。
PageIndex は何に使えますか?
長い財務報告書や規制関連文書を対象にした質問応答。 正確なセクション参照が重要な、法的契約書や技術マニュアルの検索。 ベクトルストアを管理せずに、教科書や学術論文を対象としたRAGを構築。
PageIndex のインストール方法は?
PageIndexパッケージをインストールする: pip install -U pageindex OpenAI APIキーを設定し、PDFからツリーインデックスを作成して質問する
PageIndex はどこで入手できますか?
ソースコードとインストール手順は GitHub にあります:https://github.com/VectifyAI/PageIndex

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト