m92vyas/llm-reader

これは何？

主な機能

• 01WebページのHTMLをLLM入力向けのテキストに変換します。
• 02抽出処理で使えるよう、Webサイトや画像へのリンクを保持します。
• 03構造化データのスクレイピングに便利なテーブルを処理します。
• 04Playwrightを使って、非同期かつ並行してページを取得します。
• 05独自のスクレイパーやサービスで取得したHTMLを渡せます。

ユースケース

• WebコンテンツをRAGパイプラインに取り込みます。
• LLMを使ってECサイトのページから商品名、リンク、価格を抽出します。
• URLから読みやすいテキストを必要とするAIエージェントを構築します。

クイックスタート

1. 1

   pipでGitHubからライブラリをインストールする

   pip install git+https://github.com/m92vyas/llm-reader.git
2. 2

   Playwrightのブラウザーをダウンロードする

   playwright install
3. 3

   Playwrightのシステム依存関係をインストールする

   playwright install-deps
4. 4

   get_page_sourceとget_processed_textをインポートし、ページを取得してLLM向けのテキストに変換する

使う前に知っておきたいこと

• !ページの取得にはPlaywrightを使用するため、ブラウザーのダウンロードとシステム依存関係のインストールが必要です。
• !スクレイパーをブロックするサイトでは、有料のプロキシやスクレイピングサービスが必要になる場合があります。

収録されている特集

トピック

よくある質問

llm-reader とは？

WebページのHTMLを、リンクやテーブルを保持したままRAGやスクレイピング向けのLLM対応テキストに変換するPythonライブラリ。 llm-readerは、Webページを取得し、LLMへの入力に適した読みやすいテキストに変換するPythonライブラリです。モデルに送る前にページを前処理することで、情報抽出の精度向上を目指します。特に、ECサイトの商品カタログのスクレイピングのように、Webサイトのリンク、画像リンク、テーブルを抽出するタスクで役立ちます。

llm-reader は無料で使えますか？ライセンスは？

llm-reader は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

llm-reader は今もメンテナンスされていますか？

活発にメンテナンス中。llm-reader の最終コミットは 2026年10月20日 です。

llm-reader は何に使えますか？

WebコンテンツをRAGパイプラインに取り込みます。 LLMを使ってECサイトのページから商品名、リンク、価格を抽出します。 URLから読みやすいテキストを必要とするAIエージェントを構築します。

llm-reader のインストール方法は？

pipでGitHubからライブラリをインストールする: pip install git+https://github.com/m92vyas/llm-reader.git Playwrightのブラウザーをダウンロードする: playwright install Playwrightのシステム依存関係をインストールする: playwright install-deps get_page_sourceとget_processed_textをインポートし、ページを取得してLLM向けのテキストに変換する

llm-reader はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/m92vyas/llm-reader