「data-extraction」に関するオープンソースプロジェクト

単発のHTTPリクエストからステルスブラウザー、解析、並行クロールとエクスポートまで対応するPython製Webスクレイピングフレームワーク。

PDF、Office文書、HTMLなどを構造化データに変換し、生成AIのパイプラインで活用できるオープンソースのドキュメントパーサー。

LLMとグラフベースのパイプラインを使い、プロンプトに基づいてWebサイトやローカル文書から構造化データを抽出するPythonライブラリ。

OpenAI、Gemini、Ollama、LiteLLMのモデルでページからデータを抽出する、Streamlit製のLLM搭載Webスクレイパー。

WebサイトをLLM向けのMarkdownに変換するオープンソースのPythonクローラー。構造化抽出やホスト型APIにも対応。