Repolode
投稿する
laiso

laiso/site2pdf

Webサイトをクロールして全ページを1つのPDFにまとめ、RAGやQAパイプラインへの投入に使えるCLIツール。

GitHub で見る
スター
321
フォーク
34
未解決の Issue
7
最終コミット
3 か月前

これは何？

site2pdfは起点となるURLから、そのページにあるリンクを収集します。対象は任意の正規表現または文字列パターンで絞り込め、指定がない場合は同一ドメインのリンクが対象です。各ページをheadless ChromeでPDFにレンダリングし、pdf-libで1つのドキュメントにまとめます。出力先は./out/で、ファイル名にはサイトのドメインが使われます。

主な用途は、Google NotebookLMやChatGPTのカスタムGPTなど、ファイルをアップロードできるAIツールに渡すWebサイトのコンテンツを準備することです。ページをブラウザーでレンダリングするため、画像や書式が維持され、マルチモーダルモデルに役立ちます。生成を高速化するため、ページは並行して処理されます。

このツールの実行にはNode.js 22.12以降が必要です。また、Puppeteerを使用するため、ChromeまたはChromiumのバイナリが必要です。バイナリは--executablePathフラグまたはCHROME_PATH変数で指定できます。

主な機能

  • 01起点URLから同一ドメインのリンクをクロールし、任意の正規表現または文字列で絞り込める。
  • 02各ページをheadless ChromeでPDFにレンダリングし、画像や書式を維持する。
  • 03pdf-libを使って全ページを1つのPDFにまとめる。
  • 04生成を高速化するため、ページを並行して処理する。
  • 05フラグまたは環境変数でChromeのパスを指定できる。

ユースケース

  • 製品ドキュメントやAPIドキュメントのサイトを、NotebookLMやカスタムGPT向けの1つのファイルにまとめる。
  • アーカイブ用に、ドキュメントの一部をオフラインで閲覧できる単一のスナップショットとして保存する。
  • RAGパイプラインのドキュメントソースとしてWebサイトのコンテンツを提供する。

クイックスタート

  1. 1

    npx でツールを直接実行します（Node.js v22.12 以降が必要です）

    npx site2pdf-cli https://example.com
  2. 2

    生成された PDF は out フォルダーにあります

使う前に知っておきたいこと

  • Node.js v22.12 以降が必要です。また、Linux では Puppeteer 用の追加システムライブラリが必要です。
  • ARM64 Linux など、一部のシステムでは Chrome の起動に失敗することがあり、ブラウザーを手動でインストールする必要があります。

収録されている特集

CLI・ターミナルツールPDF・OCR・ドキュメント処理ツール静的サイトジェネレーターとドキュメントツール

トピック

#pdf#web-scraping#rag#puppeteer#cli#typescript#documentation

よくある質問

site2pdf とは？
Webサイトをクロールして全ページを1つのPDFにまとめ、RAGやQAパイプラインへの投入に使えるCLIツール。 site2pdfは起点となるURLから、そのページにあるリンクを収集します。対象は任意の正規表現または文字列パターンで絞り込め、指定がない場合は同一ドメインのリンクが対象です。各ページをheadless ChromeでPDFにレンダリングし、pdf-libで1つのドキュメントにまとめます。出力先は./out/で、ファイル名にはサイトのドメインが使われます。
site2pdf は無料で使えますか？ライセンスは？
site2pdf は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
site2pdf は今もメンテナンスされていますか？
半年以内に更新あり。site2pdf の最終コミットは 2026年8月21日 です。
site2pdf は何に使えますか？
製品ドキュメントやAPIドキュメントのサイトを、NotebookLMやカスタムGPT向けの1つのファイルにまとめる。 アーカイブ用に、ドキュメントの一部をオフラインで閲覧できる単一のスナップショットとして保存する。 RAGパイプラインのドキュメントソースとしてWebサイトのコンテンツを提供する。
site2pdf のインストール方法は？
npx でツールを直接実行します（Node.js v22.12 以降が必要です）: npx site2pdf-cli https://example.com 生成された PDF は out フォルダーにあります
site2pdf はどこで入手できますか？
ソースコードとインストール手順は GitHub にあります：https://github.com/laiso/site2pdf

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト