指定したトピックを調査し、出典付きの記事を執筆して、パーソナライズされた新聞の一面を作成するLLMエージェントのニュースルームです。
thiswillbeyourgithub/wdoc
さまざまなLLMプロバイダーを使い、PDF、音声、YouTube、Anki、Logseq、Webページなどの文書を横断して要約・質問応答できるRAGツール。
- スター
- 549
- フォーク
- 47
- 未解決の Issue
- 2
- 最終コミット
- 9 日前
これは何?
wdocは、大量の多様な文書をまとめて要約・検索するためのPython製RAGシステムです。PDF、EPUB、Officeファイル、音声・動画(WhisperまたはDeepgramで文字起こし)、YouTube動画やプレイリスト、Webページ、Ankiコレクション、Logseqグラフなどを読み込み、すべてを1つのインデックスに統合できます。回答はMarkdown形式で、各主張の出典となる文書への参照が付きます。
検索パイプラインでは、まず埋め込み検索で候補となるチャンクを取得し、低コストのLLMで無関係な文書を除外します。残った文書ごとに、より高性能なLLMで回答を生成し、意味的にクラスタリングした単位でまとめます。要約モードではテキストをチャンクごとに処理し、著者の論旨を捉えることを目指した、インデント付きの箇条書きを生成します。LLMへのアクセスにはLiteLLMを使うため、OpenAI、Anthropic、Mistral、Ollamaなどのプロバイダーを利用できます。また、プライベートモードでは外部APIキーと外向きの接続を無効にできます。
wdocはコマンドラインから実行できるほか、Pythonライブラリとして利用したり、実験的なDocker製Gradio Web UIでデプロイしたりできます。オプションの追加機能は基本インストールを軽量に保つ仕組みになっており、Open-WebUI用のツールも含まれています。
主な機能
- 01PDF、EPUB、Officeファイル、音声、動画、YouTube、Anki、Logseqなど、15種類以上のファイル形式を読み込めます。
- 02複数のソースを1つのインデックスに統合し、まとめて検索できます。
- 03出典を明記し、元の文書を参照できるMarkdown形式の回答を返します。
- 04Ollama経由のローカルモデルを含め、LiteLLMがサポートするあらゆるLLMプロバイダーを利用できます。
- 05外向きの接続とAPIキーを無効にするプライベートモードを利用できます。
- 06著者の論旨を保った、インデント付き箇条書きの要約を生成できます。
ユースケース
- 個人のPDF、ノート、保存した記事を横断して質問する。
- 長いYouTube動画、ポッドキャスト、講義を構造化されたノートに要約する。
- ほかの学習資料とあわせてAnkiのフラッシュカードコレクションを検索する。
- プライベートモードでローカルLLMを使い、機密ファイルについて質問応答する。
クイックスタート
- 1
uvx で wdoc を実行してウェブを検索し、出典付きの回答を取得する
uvx wdoc web "How is Nvidia today this month?" - 2
full extras バンドルを使って PDF に問い合わせる(リンクを自分のものに置き換えてください)
uvx wdoc[full] --path=$link --task=query --filetype="online_pdf" --query="What does it say about alphago?" --query_retrievers='basic_multiquery' --top_k=auto_200_500
使う前に知っておきたいこと
- AGPL-3.0 の下でライセンスされています。コピーレフトライセンスであり、派生したネットワークサービスにはソースコードの公開が求められます。
- 現在も開発が活発に続いており、作者によると使用可能なものの、予定されている機能が多く、既知のバグもあります。
- デフォルトのモデルは OpenRouter 経由でホストされるため、ローカル LLM を設定しない限り、通常の利用には有料 API キーが必要です。
- 通常のインストールで対応するのは PDF とウェブのローダーのみです。他のファイル形式には [full] extras が必要です。
収録されている特集
トピック
よくある質問
- wdoc とは?
- さまざまなLLMプロバイダーを使い、PDF、音声、YouTube、Anki、Logseq、Webページなどの文書を横断して要約・質問応答できるRAGツール。 wdocは、大量の多様な文書をまとめて要約・検索するためのPython製RAGシステムです。PDF、EPUB、Officeファイル、音声・動画(WhisperまたはDeepgramで文字起こし)、YouTube動画やプレイリスト、Webページ、Ankiコレクション、Logseqグラフなどを読み込み、すべてを1つのインデックスに統合できます。回答はMarkdown形式で、各主張の出典となる文書への参照が付きます。
- wdoc は無料で使えますか?ライセンスは?
- wdoc は AGPL-3.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
- wdoc は今もメンテナンスされていますか?
- 活発にメンテナンス中。wdoc の最終コミットは 2026年10月28日 です。
- wdoc は何に使えますか?
- 個人のPDF、ノート、保存した記事を横断して質問する。 長いYouTube動画、ポッドキャスト、講義を構造化されたノートに要約する。 ほかの学習資料とあわせてAnkiのフラッシュカードコレクションを検索する。 プライベートモードでローカルLLMを使い、機密ファイルについて質問応答する。
- wdoc のインストール方法は?
- uvx で wdoc を実行してウェブを検索し、出典付きの回答を取得する: uvx wdoc web "How is Nvidia today this month?" full extras バンドルを使って PDF に問い合わせる(リンクを自分のものに置き換えてください): uvx wdoc[full] --path=$link --task=query --filetype="online_pdf" --query="What does it say about alphago?" --query_retrievers='basic_multiquery' --top_k=auto_200_500
- wdoc はどこで入手できますか?
- ソースコードとインストール手順は GitHub にあります:https://github.com/thiswillbeyourgithub/wdoc
概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。
関連プロジェクト
PDF、Word、PowerPoint、Excel、CSVを、内容の保持を目指しながらLLM向けテキストに変換するドキュメントパーサー。
LLMで集約したRSSフィードを書き換え、フィルタリング・評価して、新しいRSSフィードとして配信するツールです。実験や研究、学習に活用できます。
エアギャップ環境で使えるオープンソースのデスクトップアプリ。NotebookLMのように、ローカル文書を調査・変換・編集するAIエージェントです。
自分のファイルをもとにAIで文章作成や分析ができ、各文や数値を出典と照合できる無料のオープンソースデスクトップアプリ。
長文書を階層型ツリーインデックスに整理し、LLMがそのツリーをたどって回答を検索する、ベクトルDB不要のRAGエンジン。