mishushakov/llm-scraper

これは何？

主な機能

• 01ZodまたはJSON Schemaで定義したスキーマを使ってデータを抽出でき、TypeScriptの型安全性を完全に確保します。
• 02Vercel AI SDKを介して、GPT、Claude、Gemini、Llama、Qwenの各モデルを利用できます。
• 03html、raw_html、markdown、text、image、customの6つの入力モードに対応しています。
• 04モデルの生成に合わせて部分的な結果をストリーミングします。
• 05指定したスキーマに対応する、再利用可能なPlaywrightコードを生成します。

ユースケース

• 商品一覧やニュースのトップページを、データベースやダッシュボード向けのJSONに変換する。
• APIがなく、レイアウトの変更も頻繁でセレクターが使えなくなりやすいサイトをスクレイピングする。
• 複数のLLMプロバイダーを使ってデータ抽出を試作し、結果を比較する。
• スキーマから固定のPlaywrightスクリプトを生成し、モデルの呼び出しを繰り返さずに済むようにする。

クイックスタート

1. 1

   npmからコア依存関係をインストールします

   npm i zod playwright llm-scraper
2. 2

   使用するLLM（例：OpenAI）のAI SDKプロバイダーをインストールします

   npm i @ai-sdk/openai
3. 3

   LLMを初期化してスクレイパーのインスタンスを作成し、ページに対して実行します

使う前に知っておきたいこと

• !抽出品質とコストは選択したLLMプロバイダーによって異なります。通常、APIキーが必要です。

収録されている特集

トピック

よくある質問

llm-scraper とは？

PlaywrightとZodまたはJSON Schemaを基盤に、LLMであらゆるWebページから構造化データを抽出するTypeScriptライブラリ。 LLM Scraperは、大規模言語モデルを使ってWebページから構造化データを取得するTypeScriptライブラリです。Playwrightのブラウザーを起動してページを開き、出力形式をZodまたはJSON Schemaで定義すると、ライブラリがページの内容をモデルに送り、型付きの結果を返します。

llm-scraper は無料で使えますか？ライセンスは？

llm-scraper は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

llm-scraper は今もメンテナンスされていますか？

活発にメンテナンス中。llm-scraper の最終コミットは 2026年10月26日 です。

llm-scraper は何に使えますか？

商品一覧やニュースのトップページを、データベースやダッシュボード向けのJSONに変換する。 APIがなく、レイアウトの変更も頻繁でセレクターが使えなくなりやすいサイトをスクレイピングする。 複数のLLMプロバイダーを使ってデータ抽出を試作し、結果を比較する。 スキーマから固定のPlaywrightスクリプトを生成し、モデルの呼び出しを繰り返さずに済むようにする。

llm-scraper のインストール方法は？

npmからコア依存関係をインストールします: npm i zod playwright llm-scraper 使用するLLM（例：OpenAI）のAI SDKプロバイダーをインストールします: npm i @ai-sdk/openai LLMを初期化してスクレイパーのインスタンスを作成し、ページに対して実行します

llm-scraper はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/mishushakov/llm-scraper