itsOwen/CyberScraper-2077

これは何？

主な機能

• 01OpenAI、Gemini、Ollamaのモデルに自然言語で指示して、Webページからデータを抽出します。
• 02LiteLLMプロキシに対応しており、プロキシ経由で公開されている任意のモデルを利用できます。
• 03結果をJSON、CSV、HTML、SQL、Excel形式でエクスポートできます。
• 04CSVデータをGoogle Sheetsにアップロードできます。
• 05URLパターンとページ範囲を指定して、複数ページをスクレイピングできます。
• 06.onion URLをTorネットワーク経由で接続します。

ユースケース

• ページ分割されたWebサイトから商品や掲載情報を抽出し、スプレッドシートにまとめる。
• サイトごとのセレクターを書かずに、Webページからの構造化データ抽出を試作する。
• ローカルのOllamaモデルを使ってスクレイピングを実行し、データを自分のマシン内に保持する。

クイックスタート

1. 1

   リポジトリをクローンする

   git clone https://github.com/itsOwen/CyberScraper-2077.git
2. 2

   必要なパッケージをインストールする

   pip install -r requirements.txt
3. 3

   Playwrightをインストールする

   playwright install
4. 4

   Streamlitアプリを起動し、http://localhost:8501 を開く

   streamlit run main.py

使う前に知っておきたいこと

• !Python 3.10以降が必要です。
• !OpenAIまたはGeminiのAPIキー、あるいはオープンソースモデル用のローカルOllama環境が必要です。
• !作者はオープンソースのLLMよりOpenAIとGeminiを推奨しています。オープンソースのLLMは処理が遅く、十分な性能のシステムが必要になる場合があります。
• !Captchaの回避機能と現在のブラウザー機能はDockerでは動作しません。WindowsユーザーにはDockerの使用が案内されています。

トピック

よくある質問

CyberScraper-2077 とは？

OpenAI、Gemini、Ollama、LiteLLMのモデルでページからデータを抽出する、Streamlit製のLLM搭載Webスクレイパー。 CyberScraper 2077は、大規模言語モデルを使ってWebページを構造化データに変換するスクレイパーです。URLを入力し、抽出したい内容を自然言語で指定すると、Playwrightでページを取得し、選択したモデルに該当する情報を抽出させます。OpenAI、Gemini、Ollama経由のローカルモデルに加え、LiteLLMプロキシ経由で公開されている任意のモデルに対応しています。

CyberScraper-2077 は無料で使えますか？ライセンスは？

CyberScraper-2077 は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

CyberScraper-2077 は今もメンテナンスされていますか？

活発にメンテナンス中。CyberScraper-2077 の最終コミットは 2026年10月12日 です。

CyberScraper-2077 は何に使えますか？

ページ分割されたWebサイトから商品や掲載情報を抽出し、スプレッドシートにまとめる。 サイトごとのセレクターを書かずに、Webページからの構造化データ抽出を試作する。 ローカルのOllamaモデルを使ってスクレイピングを実行し、データを自分のマシン内に保持する。

CyberScraper-2077 のインストール方法は？

リポジトリをクローンする: git clone https://github.com/itsOwen/CyberScraper-2077.git 必要なパッケージをインストールする: pip install -r requirements.txt Playwrightをインストールする: playwright install Streamlitアプリを起動し、http://localhost:8501 を開く: streamlit run main.py

CyberScraper-2077 はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/itsOwen/CyberScraper-2077