PDF、HTML、Word、メールなどをLLMパイプライン向けの構造化要素に分割する、オープンソースのPythonライブラリ。
enoch3712/ExtractThinker
LLMを使ってPDFや画像などの文書からデータを抽出し、分類・分割を行って、検証済みのPydanticオブジェクトに変換するPythonライブラリ。
- スター
- 1,604
- フォーク
- 156
- 未解決の Issue
- 5
- 最終コミット
- 2 か月前
これは何?
ExtractThinkerは、文書から型付きデータを抽出するためのPythonライブラリです。必要なフィールドを記述したPydanticの契約を定義し、ドキュメントローダーとLLMを選ぶと、文書の読み込み、分類、分割を行い、内容を検証済みのオブジェクトとして抽出します。
文書処理パイプラインでよく使われる工程を幅広くカバーしています。PDF、画像、表、スプレッドシートに対応するドキュメントローダーのほか、複数種類の文書が混在する束の分類・分割、長い入力やモデル応答が不完全な場合に対応する補完戦略を備えています。Ollama経由でローカルモデルを利用することもできます。mainブランチにはさらに、SQLiteを使ったページ検索、フィールドの並列抽出、モデルルーティング、ローカルでのエンティティマスキング、MCPサービスが追加されています。ただし、これらはまだPyPIでリリースされておらず、チェックアウトからインストールする必要があります。
スキーマ検証を行っても、抽出された値が正しいとは限りません。結果は自分の文書で評価してください。抽出時には設定したモデルプロバイダーが呼び出され、料金が発生する場合があります。
主な機能
- 01フィールドの制約と検証を備えたPydanticモデルで、抽出対象を定義できます。
- 02拡張可能なドキュメントローダーを通じて、PDF、画像、表、スプレッドシートを読み込めます。
- 03複数種類の文書が混在する束を分類し、個別の文書に分割できます。
- 04Ollama経由のローカルモデルと、クラウドのLLMプロバイダーに対応しています。
- 05補完戦略により、長い文書や不完全な応答を処理できます。
ユースケース
- スキャンまたはデジタル形式の請求書から、請求書番号、合計金額、仕入先情報を抽出する。
- 処理の前に、複数種類の業務文書が混在する束を分類して分割する。
- 後続のPythonコードで使える型付きデータを出力する文書処理パイプラインを構築する。
クイックスタート
- 1
PyPIからライブラリをインストールします
pip install extract-thinker - 2
EXTRACT_THINKER_MODELとプロバイダーのAPIキーを設定し、サンプルの抽出スクリプトを実行します
使う前に知っておきたいこと
- LLMプロバイダーとAPIキーが必要です。また、抽出に料金が発生する場合があります。
- スキャン文書にはOCRまたは画像認識対応モデルが必要です。
- mainブランチにある2026年の機能はPyPI版には含まれていないため、git checkoutからインストールする必要があります。
収録されている特集
トピック
よくある質問
- ExtractThinker とは?
- LLMを使ってPDFや画像などの文書からデータを抽出し、分類・分割を行って、検証済みのPydanticオブジェクトに変換するPythonライブラリ。 ExtractThinkerは、文書から型付きデータを抽出するためのPythonライブラリです。必要なフィールドを記述したPydanticの契約を定義し、ドキュメントローダーとLLMを選ぶと、文書の読み込み、分類、分割を行い、内容を検証済みのオブジェクトとして抽出します。
- ExtractThinker は無料で使えますか?ライセンスは?
- ExtractThinker は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
- ExtractThinker は今もメンテナンスされていますか?
- 半年以内に更新あり。ExtractThinker の最終コミットは 2026年9月16日 です。
- ExtractThinker は何に使えますか?
- スキャンまたはデジタル形式の請求書から、請求書番号、合計金額、仕入先情報を抽出する。 処理の前に、複数種類の業務文書が混在する束を分類して分割する。 後続のPythonコードで使える型付きデータを出力する文書処理パイプラインを構築する。
- ExtractThinker のインストール方法は?
- PyPIからライブラリをインストールします: pip install extract-thinker EXTRACT_THINKER_MODELとプロバイダーのAPIキーを設定し、サンプルの抽出スクリプトを実行します
- ExtractThinker はどこで入手できますか?
- ソースコードとインストール手順は GitHub にあります:https://github.com/enoch3712/ExtractThinker
概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。
関連プロジェクト
PDF、Office文書、HTMLなどを構造化データに変換し、生成AIのパイプラインで活用できるオープンソースのドキュメントパーサー。
PDF、Officeファイル、画像をLLMやエージェントのワークフロー向けにMarkdownまたはJSONへ変換するオープンソースの文書パーサー。
PDF、Word、PowerPoint、Excel、CSVを、内容の保持を目指しながらLLM向けテキストに変換するドキュメントパーサー。
PDF、Officeファイル、画像をレイアウト解析とOCRでLLM向けのチャンクに変換する、セルフホスト型の文書インテリジェンスAPI。
PDFをMarkdown、バウンディングボックス付きJSON、HTMLに変換し、AIパイプラインで活用できるオープンソースPDFパーサー。タグなしPDFの自動タグ付けにも対応。