Repolode
mamei16

mamei16/LLM_Web_search

text-generation-webui向けの拡張機能。ローカルLLMでWeb検索し、関連ページの抜粋を回答に追加できます。

スター
284
フォーク
40
未解決の Issue
6
最終コミット
3 日前

これは何?

LLM_Web_searchを使うと、oobaboogaのtext-generation-webui上で動作するローカル言語モデルにWeb検索機能を追加できます。モデルはネイティブのtool calling、または出力内のコマンドに一致する正規表現を通じて検索を実行できます。拡張機能が検索結果のページを取得し、密な埋め込みモデルとOkapi BM25(またはオプションのSPLADE)を組み合わせてクエリに関連する文章を抽出し、モデルの出力に追加します。

検索にはデフォルトでDuckDuckGoを使うほか、JSONを返すSearXNGインスタンスも利用できます。検索結果のスニペットだけを使うシンプルモードと、ページ全体を調べるフルモードを備えています。ページのテキストは、固定サイズで分割する方法、埋め込み距離に基づくセマンティック分割、DistilBERTベースのトークン分類モデルを使う方法でチャンクに分割できます。

このプロジェクトは、text-generation-webuiでモデルをローカル実行し、最新情報に関する質問にも回答させたいユーザーを対象としています。標準的な拡張機能としてインストールでき、ライセンスはAGPL-3.0です。

主な機能

  • 01ネイティブのtool calling、または正規表現で呼び出す検索コマンド
  • 02デフォルトのDuckDuckGoに加え、SearXNGバックエンドにも対応
  • 03シンプルモードとフルモードの検索
  • 04密な埋め込みと組み合わせたOkapi BM25またはSPLADEによるキーワード検索
  • 05文字数、セマンティック分割、トークン分類によるチャンク分割

ユースケース

  • ローカルホストのモデルで最近の出来事に関する質問に回答する
  • プロンプトをホスト型サービスに送信せず、ローカルのチャットモデルにWebアクセスを提供する
  • セルフホストのSearXNGインスタンスを使ってプライベートな検索を行う

クイックスタート

  1. 1

    Web UIのSessionタブから拡張機能をインストールします

  2. 2

    update_wizardスクリプトを実行し、「Install/update extensions requirements」を選択します

  3. 3

    拡張機能を有効にしてサーバーを起動します

    python server.py --extension LLM_Web_search

使う前に知っておきたいこと

  • text-generation-webui用の拡張機能のため、先にアプリケーションをインストールする必要があります。
  • AGPL-3.0ライセンスで提供されています。コピーレフトライセンスのため、ネットワーク経由で提供する派生サービスはソースコードを公開する必要があります。
  • Full search、semantic chunking、SPLADEは処理が遅く、より多くのリソースが必要です。SPLADEはGPUを使うと効果的です。

トピック

よくある質問

LLM_Web_search とは?
text-generation-webui向けの拡張機能。ローカルLLMでWeb検索し、関連ページの抜粋を回答に追加できます。 LLM_Web_searchを使うと、oobaboogaのtext-generation-webui上で動作するローカル言語モデルにWeb検索機能を追加できます。モデルはネイティブのtool calling、または出力内のコマンドに一致する正規表現を通じて検索を実行できます。拡張機能が検索結果のページを取得し、密な埋め込みモデルとOkapi BM25(またはオプションのSPLADE)を組み合わせてクエリに関連する文章を抽出し、モデルの出力に追加します。
LLM_Web_search は無料で使えますか?ライセンスは?
LLM_Web_search は AGPL-3.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
LLM_Web_search は今もメンテナンスされていますか?
活発にメンテナンス中。LLM_Web_search の最終コミットは 2026年11月3日 です。
LLM_Web_search は何に使えますか?
ローカルホストのモデルで最近の出来事に関する質問に回答する プロンプトをホスト型サービスに送信せず、ローカルのチャットモデルにWebアクセスを提供する セルフホストのSearXNGインスタンスを使ってプライベートな検索を行う
LLM_Web_search のインストール方法は?
Web UIのSessionタブから拡張機能をインストールします update_wizardスクリプトを実行し、「Install/update extensions requirements」を選択します 拡張機能を有効にしてサーバーを起動します: python server.py --extension LLM_Web_search
LLM_Web_search はどこで入手できますか?
ソースコードとインストール手順は GitHub にあります:https://github.com/mamei16/LLM_Web_search

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト