Repolode
google

google/langextract

LLMで非構造化テキストから構造化データを抽出し、抽出結果を元テキストの該当箇所に紐付けるPythonライブラリです。

スター
39,278
フォーク
2,750
未解決の Issue
114
最終コミット
13 時間前

これは何?

LangExtractは、自然言語の抽出プロンプトと少数のアノテーション例を受け取り、LLMで文書を処理して、統一されたスキーマに沿ったエンティティと属性を返します。抽出した各値は、元テキスト内の正確な文字範囲に対応付けられるため、原文と照らし合わせて結果を確認できます。入力内に位置を特定できない抽出結果には範囲が設定されないため、例からモデルが生成したハルシネーションを簡単に除外できます。

長い文書ではテキストをチャンクに分割して並列処理し、再現率を高めるために複数回の抽出にも対応します。結果はJSONLとして保存でき、エンティティを文脈とともに確認できる、単体で動作するインタラクティブなHTMLファイルとして出力できます。主な対象はGeminiモデルですが、OpenAIやOllama経由のローカルモデルにも標準で対応しており、プラグインシステムでほかのプロバイダーも追加できます。

主な機能

  • 01抽出した各エンティティを、元テキスト内の正確な位置に対応付けます。
  • 02few-shotの例で定義した一貫性のある出力スキーマを適用します。
  • 03長い文書をチャンクに分割し、並列処理と複数回の抽出を行います。
  • 04結果をインタラクティブな単体動作のHTMLで可視化します。
  • 05Gemini、OpenAI、Ollama経由のローカルモデルに対応します。
  • 06プラグインシステムでカスタムのモデルプロバイダーを追加できます。

ユースケース

  • 診療記録や放射線レポートを、検索可能なフィールドに構造化する。
  • 小説や長文から登場人物、関係性、出来事を抽出する。
  • 契約書や文書を、検証可能な構造化レコードに変換する。
  • モデルをファインチューニングせずに、情報抽出パイプラインを試作する。

クイックスタート

  1. 1

    PyPIからパッケージをインストールします

    pip install langextract
  2. 2

    Geminiなどのクラウドモデルを使うには、APIキーを設定します

    export LANGEXTRACT_API_KEY="your-api-key-here"
  3. 3

    プロンプトと例を用意し、入力テキストを使って lx.extract を呼び出します

使う前に知っておきたいこと

  • GeminiやOpenAIなどのクラウドモデルを使うには、有料アカウントまたはAPIキーが必要です。
  • 抽出品質は、選択したLLM、プロンプトの表現、例に左右されます。

収録されている特集

トピック

よくある質問

langextract とは?
LLMで非構造化テキストから構造化データを抽出し、抽出結果を元テキストの該当箇所に紐付けるPythonライブラリです。 LangExtractは、自然言語の抽出プロンプトと少数のアノテーション例を受け取り、LLMで文書を処理して、統一されたスキーマに沿ったエンティティと属性を返します。抽出した各値は、元テキスト内の正確な文字範囲に対応付けられるため、原文と照らし合わせて結果を確認できます。入力内に位置を特定できない抽出結果には範囲が設定されないため、例からモデルが生成したハルシネーションを簡単に除外できます。
langextract は無料で使えますか?ライセンスは?
langextract は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
langextract は今もメンテナンスされていますか?
活発にメンテナンス中。langextract の最終コミットは 2026年11月7日 です。
langextract は何に使えますか?
診療記録や放射線レポートを、検索可能なフィールドに構造化する。 小説や長文から登場人物、関係性、出来事を抽出する。 契約書や文書を、検証可能な構造化レコードに変換する。 モデルをファインチューニングせずに、情報抽出パイプラインを試作する。
langextract のインストール方法は?
PyPIからパッケージをインストールします: pip install langextract Geminiなどのクラウドモデルを使うには、APIキーを設定します: export LANGEXTRACT_API_KEY="your-api-key-here" プロンプトと例を用意し、入力テキストを使って lx.extract を呼び出します
langextract はどこで入手できますか?
ソースコードとインストール手順は GitHub にあります:https://github.com/google/langextract

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト