Repolode
投稿する
YOLOW92

YOLOW92/pagesift

Webサイト、PDF、OfficeファイルをクリーンなMarkdownや構造化データに変換する、Rust製のWebクローラー兼抽出エンジン。

代替できる製品:FirecrawlJina Reader

GitHub で見る
スター
251
フォーク
32
未解決の Issue
0
最終コミット
20 時間前

これは何？

PageSiftは、AIエージェントやLLMパイプラインへのデータ提供を目的とした、Rust製のWebスクレイピング・コンテンツ抽出エンジンです。URLやアップロードされたファイルを取得し、主要なコンテンツをMarkdownまたは構造化データに変換します。HTMLページ、PDF、Word、Excel、PowerPoint、EPUB、CSVに対応し、適応型のアクセス間隔調整とホストごとのレート制限を適用しながら、サイト全体をクロールできます。ページのコンテンツ表示にJavaScriptが必要な場合に限り、ヘッドレスブラウザーでレンダリングします。

CLI、Dockerサーバー、PythonおよびNode.jsパッケージを備えた単一バイナリとして提供されます。HTTP APIはFirecrawl v1/v2と互換性があり、Jina Reader風の`/r/`エンドポイントも提供するため、既存のFirecrawlクライアントコードからローカルインスタンスを利用できます。また、エージェント向けの共有MCPサーバーとして動作し、各取得処理を監査ファイルに記録することもできます。

メモリ使用量に上限を設ける設計で、キューのサイズを制限し、cgroupのメモリ制限を読み取って並列実行数を調整します。対象を絞ったクロールではクエリを指定でき、関連性に基づいてリンクをスコアリングします。robots.txtの遵守と、プライベートIPアドレス範囲に対するSSRF対策も備えています。ライセンスはAGPL-3.0で、商用ライセンスも利用できます。

主な機能

  • 01HTML、PDF、Word、Excel、PowerPoint、EPUB、CSVをMarkdownまたは構造化データに変換します。
  • 02Firecrawl v1/v2互換APIとJina Reader風のエンドポイントを提供します。
  • 03PythonおよびNode.js SDKに加え、CLIとDockerイメージを提供します。
  • 04必要な場合に限り、ヘッドレスブラウザーでJavaScriptページをレンダリングします。
  • 05取得処理の監査ログを備えた共有MCPサーバーとして動作します。
  • 06キューのサイズを制限し、cgroupのメモリ制限を読み取ることで、メモリ使用量を抑えます。

ユースケース

  • Webサイトや社内文書からRAGナレッジベースを構築する。
  • LLMエージェントに、ページのクリーンなコンテンツを取得するツールを提供する。
  • ホスト型のFirecrawlやJina Readerへの依存を、セルフホスト型サービスに置き換える。
  • PDFやOfficeファイルをまとめてMarkdownに変換し、インデックス作成に利用する。

使う前に知っておきたいこと

  • AGPL-3.0のもとでライセンスされているコピーレフトライセンスで、ソフトウェアをネットワーク経由で使用する場合、ソースコードの共有が求められます。
  • 一部のベンチマークでは、A2 replayやfast crawlの計測時間でspiderなどの競合に劣ります。
  • 2億リクエストのスループット数値は、ネットワークを介さない合成ローカルオリジンでの測定値であり、実際のインターネット速度ではありません。

収録されている特集

AI エージェント向けブラウザ自動化オープンソースの AI エージェント・フレームワークとアプリMCP サーバー静的サイトジェネレーターとドキュメントツール

トピック

#web-scraping#web-crawler#rag#markdown#pdf-extraction#ai-agents#rust#mcp#browser-automation#data-extraction

よくある質問

pagesift とは？
Webサイト、PDF、OfficeファイルをクリーンなMarkdownや構造化データに変換する、Rust製のWebクローラー兼抽出エンジン。 PageSiftは、AIエージェントやLLMパイプラインへのデータ提供を目的とした、Rust製のWebスクレイピング・コンテンツ抽出エンジンです。URLやアップロードされたファイルを取得し、主要なコンテンツをMarkdownまたは構造化データに変換します。HTMLページ、PDF、Word、Excel、PowerPoint、EPUB、CSVに対応し、適応型のアクセス間隔調整とホストごとのレート制限を適用しながら、サイト全体をクロールできます。ページのコンテンツ表示にJavaScriptが必要な場合に限り、ヘッドレスブラウザーでレンダリングします。
pagesift は無料で使えますか？ライセンスは？
pagesift は AGPL-3.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
pagesift は今もメンテナンスされていますか？
活発にメンテナンス中。pagesift の最終コミットは 2026年11月7日 です。
pagesift は何に使えますか？
Webサイトや社内文書からRAGナレッジベースを構築する。 LLMエージェントに、ページのクリーンなコンテンツを取得するツールを提供する。 ホスト型のFirecrawlやJina Readerへの依存を、セルフホスト型サービスに置き換える。 PDFやOfficeファイルをまとめてMarkdownに変換し、インデックス作成に利用する。
pagesift はどこで入手できますか？
ソースコードとインストール手順は GitHub にあります：https://github.com/YOLOW92/pagesift

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト