生の文書を相互リンク付きのLLM管理Markdown Wikiに変換するCLI・Webワークベンチ。長いファイルにはPageIndexのツリー検索を利用します。
VectifyAI/PageIndex
長文書を階層型ツリーインデックスに整理し、LLMがそのツリーをたどって回答を検索する、ベクトルDB不要のRAGエンジン。
- スター
- 40,168
- フォーク
- 3,456
- 未解決の Issue
- 151
- 最終コミット
- 9 時間前
これは何?
PageIndexは、財務報告書、法的文書、技術マニュアル、教科書など、長く複雑な文書向けの検索フレームワークです。テキストをチャンクに分割して埋め込みをベクトルデータベースに保存する代わりに、文書ごとに階層型ツリーインデックスを生成し、LLMがそのツリーを検索して関連箇所を見つけます。人が目次をたどるのに近い方法です。
Python SDK(pip install pageindex)を提供しており、自分のマシン上で独自のLLM APIキーを使ってインデックスを作成・保存するローカルモードと、インデックス作成、OCR、画像理解、保存をPageIndex Cloudに任せるクラウドモードがあります。ローカルモードはテキストベースのPDFを対象とし、クラウドモードではスキャン文書や画像の多い文書にも対応します。回答には出典への参照が含まれ、ローカルではページ単位、クラウドではブロック単位で示されます。
READMEでは、FinanceBenchでのベンチマーク結果と、PDF全体をモデルに渡す場合とのコスト比較が報告されていますが、いずれも作者自身による測定値です。
主な機能
- 01ベクトルデータベースやチャンク分割を使わず、文書ごとにツリー構造のインデックスを作成します。
- 02意味的類似性ではなく、LLMがツリーを推論しながら検索します。
- 03ローカルモードでは、自分のマシン上で独自のLLM APIキーを使って動作します。
- 04クラウドモードでは、OCR、画像理解、マネージドストレージを利用できます。
- 05回答には、出典のページまたはブロックをたどれる参照が含まれます。
ユースケース
- 長い財務報告書や規制関連文書を対象にした質問応答。
- 正確なセクション参照が重要な、法的契約書や技術マニュアルの検索。
- ベクトルストアを管理せずに、教科書や学術論文を対象としたRAGを構築。
クイックスタート
- 1
PageIndexパッケージをインストールする
pip install -U pageindex - 2
OpenAI APIキーを設定し、PDFからツリーインデックスを作成して質問する
使う前に知っておきたいこと
- インデックス作成とチャットには、OpenAIなどのLLM APIキーまたはClaudeのサブスクリプションが必要です。
- ローカルモードはテキストベースのPDF向けです。スキャン文書や画像の多い文書には、有料のCloudサービスが必要です。
- 質問への回答精度とコストは、選択するチャットモデルによって異なります。
収録されている特集
トピック
よくある質問
- PageIndex とは?
- 長文書を階層型ツリーインデックスに整理し、LLMがそのツリーをたどって回答を検索する、ベクトルDB不要のRAGエンジン。 PageIndexは、財務報告書、法的文書、技術マニュアル、教科書など、長く複雑な文書向けの検索フレームワークです。テキストをチャンクに分割して埋め込みをベクトルデータベースに保存する代わりに、文書ごとに階層型ツリーインデックスを生成し、LLMがそのツリーを検索して関連箇所を見つけます。人が目次をたどるのに近い方法です。
- PageIndex は無料で使えますか?ライセンスは?
- PageIndex は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
- PageIndex は今もメンテナンスされていますか?
- 活発にメンテナンス中。PageIndex の最終コミットは 2026年11月7日 です。
- PageIndex は何に使えますか?
- 長い財務報告書や規制関連文書を対象にした質問応答。 正確なセクション参照が重要な、法的契約書や技術マニュアルの検索。 ベクトルストアを管理せずに、教科書や学術論文を対象としたRAGを構築。
- PageIndex のインストール方法は?
- PageIndexパッケージをインストールする: pip install -U pageindex OpenAI APIキーを設定し、PDFからツリーインデックスを作成して質問する
- PageIndex はどこで入手できますか?
- ソースコードとインストール手順は GitHub にあります:https://github.com/VectifyAI/PageIndex
概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。
関連プロジェクト
エアギャップ環境で使えるオープンソースのデスクトップアプリ。NotebookLMのように、ローカル文書を調査・変換・編集するAIエージェントです。
自社ドキュメントをもとに、出典を示しながら任意のモデルで質問に答えるAIエージェントやアシスタントを構築できるセルフホスト型プラットフォーム。
候補となる推論ステップを探索し、一度の回答生成ではなく検索によってLLMに問題を解かせるTree of ThoughtsのPython実装です。
チャットボット、RAG、エージェントなどのLLMワークフローを構築し、プロンプトを自動最適化できるPyTorchスタイルのPythonライブラリです。
AIエージェント向けのローカルで証拠を重視したメモリランタイム。書き込みをフィルタリングし、事実の変化を追跡して、検索結果ごとに根拠を示します。