「ai-scraping」に関するオープンソースプロジェクト

単発のHTTPリクエストからステルスブラウザー、解析、並行クロールとエクスポートまで対応するPython製Webスクレイピングフレームワーク。

LLMとグラフベースのパイプラインを使い、プロンプトに基づいてWebサイトやローカル文書から構造化データを抽出するPythonライブラリ。

OpenAI、Gemini、Ollama、LiteLLMのモデルでページからデータを抽出する、Streamlit製のLLM搭載Webスクレイパー。