Repolode
mamei16

mamei16/LLM_Web_search

为 text-generation-webui 提供的扩展,让本地大模型可以联网搜索,并把相关网页内容补充到回答中。

Star
284
Fork
40
未关闭 Issue
6
最近提交
4天前

这是什么?

LLM_Web_search 为本地大模型提供联网搜索能力,作为 oobabooga 的 text-generation-webui 扩展运行。模型既可以通过原生 tool calling 发起搜索,也可以在输出中匹配正则表达式指定的命令来触发搜索。扩展会抓取结果页面,再结合稠密向量模型与 Okapi BM25(也可换成 SPLADE)筛选出与问题相关的段落,并追加到模型回答中。

搜索后端默认使用 DuckDuckGo,也可以指定返回 JSON 格式的 SearXNG 实例。简单模式只使用搜索结果中的摘要片段,完整模式则会扫描整个网页。网页正文的切分方式包括固定长度切分、基于语义距离的切分,以及基于 DistilBERT 的 token 分类切分。

这个项目适合在 text-generation-webui 中本地运行模型、并希望模型回答最新信息的用户。它以标准扩展的形式安装,许可证为 AGPL-3.0。

核心功能

  • 01支持原生 tool calling 或正则匹配的搜索命令触发搜索
  • 02默认使用 DuckDuckGo,可选 SearXNG 后端
  • 03提供简单搜索和完整搜索两种模式
  • 04结合稠密向量与 Okapi BM25 或 SPLADE 进行关键词检索
  • 05提供固定长度、语义和 token 分类三种文本切分方式

适用场景

  • 让本地部署的模型回答近期事件相关的问题
  • 在不依赖托管服务的情况下为本地聊天模型提供联网能力
  • 通过自托管的 SearXNG 实例进行私有化搜索

快速上手

  1. 1

    在网页界面的 Session 标签页中安装该扩展

  2. 2

    运行 update_wizard 脚本,选择安装/更新扩展依赖

  3. 3

    启动服务器并启用该扩展

    python server.py --extension LLM_Web_search

使用前须知

  • 它是 text-generation-webui 的扩展,因此必须先安装该应用。
  • 采用 AGPL-3.0 许可证,这是一种 copyleft 许可证,要求基于其开发的网络服务公开源代码。
  • 完整搜索、语义分块和 SPLADE 速度较慢且资源占用更高,SPLADE 最好配合 GPU 使用。

标签

常见问题

LLM_Web_search 是什么?
为 text-generation-webui 提供的扩展,让本地大模型可以联网搜索,并把相关网页内容补充到回答中。 LLM_Web_search 为本地大模型提供联网搜索能力,作为 oobabooga 的 text-generation-webui 扩展运行。模型既可以通过原生 tool calling 发起搜索,也可以在输出中匹配正则表达式指定的命令来触发搜索。扩展会抓取结果页面,再结合稠密向量模型与 Okapi BM25(也可换成 SPLADE)筛选出与问题相关的段落,并追加到模型回答中。
LLM_Web_search 可以免费使用吗?用的什么许可证?
LLM_Web_search 以 AGPL-3.0 许可证开源。用于商业产品前,请先确认许可证条款。
LLM_Web_search 还在维护吗?
活跃维护中。LLM_Web_search 最近一次提交是在 2026年11月3日。
LLM_Web_search 适合用来做什么?
让本地部署的模型回答近期事件相关的问题 在不依赖托管服务的情况下为本地聊天模型提供联网能力 通过自托管的 SearXNG 实例进行私有化搜索
LLM_Web_search 怎么安装和运行?
在网页界面的 Session 标签页中安装该扩展 运行 update_wizard 脚本,选择安装/更新扩展依赖 启动服务器并启用该扩展: python server.py --extension LLM_Web_search
在哪里获取 LLM_Web_search?
源代码和安装说明在 GitHub 上:https://github.com/mamei16/LLM_Web_search

概要由 AI 根据项目 README 生成;GitHub 数据每日更新。

相关项目