ScrapeGraphAI/Scrapegraph-ai

これは何？

主な機能

• 01CSSやXPathセレクターの代わりに、平易な言葉で指示してページからデータを抽出できます。
• 02Webサイトと、XML、HTML、JSON、Markdownなどのローカルファイルに対応しています。
• 03単一ページ、複数ページ、検索結果を処理するパイプラインを利用できます。
• 04OpenAI、Groq、Azure、Gemini、およびOllama経由のローカルモデルに対応しています。
• 05スクレイピングしたコンテンツから音声出力やPythonスクリプトを生成できます。

ユースケース

• パーサーを書かずに、多数のWebサイトから企業情報、創業者、連絡先リンクなどを取得する。
• レイアウトが頻繁に変わるページから構造化データを収集する。
• Webコンテンツを構造化して、LLMやRAGのパイプラインに取り込む。
• Ollama経由でローカルモデルを使い、プライベートなデータ抽出を実行する。

クイックスタート

1. 1

   PyPIからライブラリをインストールする

   pip install scrapegraphai
2. 2

   Webサイトを取得するためにPlaywrightのブラウザーをインストールする

   playwright install
3. 3

   LLM（OpenAIのキーまたはローカルのOllamaなど）を設定し、プロンプトとソースURLを指定してSmartScraperGraphを実行する

使う前に知っておきたいこと

• !LLM（APIキーまたはOllama経由のローカルモデル）は自分で用意し、費用を負担する必要があります。
• !セルフホスティングの場合、ブラウザー、プロキシ、スケーリングは自分で管理する必要があります。
• !Webサイトの取得には、追加の手順としてPlaywrightブラウザーのインストールが必要です。

トピック

よくある質問

Scrapegraph-ai とは？

LLMとグラフベースのパイプラインを使い、自然言語の指示からWebサイトやローカル文書の構造化データを抽出するPythonライブラリ。 ScrapeGraphAIは、手書きのセレクターを自然言語の指示に置き換えるPython製のWebスクレイピングライブラリです。取得したい情報を記述すると、ページまたはローカルファイル（XML、HTML、JSON、Markdownなど）を読み込み、大規模言語モデルを使ってデータを抽出し、辞書として返すパイプラインを実行します。

Scrapegraph-ai は無料で使えますか？ライセンスは？

Scrapegraph-ai は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

Scrapegraph-ai は今もメンテナンスされていますか？

活発にメンテナンス中。Scrapegraph-ai の最終コミットは 2026年10月6日 です。

Scrapegraph-ai は何に使えますか？

パーサーを書かずに、多数のWebサイトから企業情報、創業者、連絡先リンクなどを取得する。 レイアウトが頻繁に変わるページから構造化データを収集する。 Webコンテンツを構造化して、LLMやRAGのパイプラインに取り込む。 Ollama経由でローカルモデルを使い、プライベートなデータ抽出を実行する。

Scrapegraph-ai のインストール方法は？

PyPIからライブラリをインストールする: pip install scrapegraphai Webサイトを取得するためにPlaywrightのブラウザーをインストールする: playwright install LLM（OpenAIのキーまたはローカルのOllamaなど）を設定し、プロンプトとソースURLを指定してSmartScraperGraphを実行する

Scrapegraph-ai はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/ScrapeGraphAI/Scrapegraph-ai