Repolode
Предложить
mamei16

mamei16/LLM_Web_search

Расширение для text-generation-webui, которое позволяет локальной LLM искать информацию в интернете и добавлять в ответы релевантные фрагменты страниц.

Открыть на GitHub
Звёзды
284
Форки
40
Открытые issues
6
Последний коммит
3 дня назад

Что это?

LLM_Web_search позволяет локальным языковым моделям искать информацию в интернете прямо в text-generation-webui от oobabooga. Модель может запускать поиск с помощью нативного вызова инструментов или регулярного выражения, которое находит команду в её выводе. Расширение загружает страницы из результатов поиска, а затем с помощью плотной модели эмбеддингов в сочетании с Okapi BM25 (или, по желанию, SPLADE) извлекает относящиеся к запросу фрагменты и добавляет их к ответу модели.

По умолчанию поиск выполняется через DuckDuckGo; также можно подключить экземпляр SearXNG, возвращающий JSON. Доступны простой режим, использующий только сниппеты из результатов поиска, и полный режим, в котором анализируются страницы целиком. Текст страниц можно разбивать на фрагменты фиксированного размера, семантически — на основе расстояния между эмбеддингами — или с помощью модели классификации токенов на базе DistilBERT.

Проект рассчитан на тех, кто запускает модели локально через text-generation-webui и хочет получать от них ответы на вопросы о текущих событиях. Расширение устанавливается стандартным способом и распространяется по лицензии AGPL-3.0.

Ключевые возможности

  • 01Поиск через нативный вызов инструментов или команды, запускаемые регулярным выражением
  • 02DuckDuckGo по умолчанию и поддержка SearXNG в качестве альтернативного бэкенда
  • 03Простой и полный режимы поиска
  • 04Поиск по ключевым словам с помощью Okapi BM25 или SPLADE в сочетании с плотными эмбеддингами
  • 05Разбиение на фрагменты по символам, семантическое разбиение и разбиение с помощью классификации токенов

Сценарии использования

  • Ответы на вопросы о недавних событиях с помощью локально размещённой модели
  • Предоставление локальной чат-модели доступа к интернету без отправки запросов в хостируемый сервис
  • Приватный поиск через самостоятельно размещённый экземпляр SearXNG

Быстрый старт

  1. 1

    Установите расширение на вкладке Session веб-интерфейса

  2. 2

    Запустите скрипт update_wizard и выберите «Install/update extensions requirements»

  3. 3

    Запустите сервер с включённым расширением

    python server.py --extension LLM_Web_search

Что важно знать

  • Это расширение для text-generation-webui, поэтому сначала необходимо установить само приложение.
  • Распространяется по лицензии AGPL-3.0 — лицензии с копилефтом, которая требует предоставлять исходный код производных сетевых сервисов.
  • Full search, semantic chunking и SPLADE работают медленнее и требуют больше ресурсов. Для SPLADE полезно использовать GPU.

Темы

#llm#web-search#rag#text-generation-webui#duckduckgo#searxng#bm25#embeddings#chatgpt#faiss

Частые вопросы

Что такое LLM_Web_search?
Расширение для text-generation-webui, которое позволяет локальной LLM искать информацию в интернете и добавлять в ответы релевантные фрагменты страниц. LLM_Web_search позволяет локальным языковым моделям искать информацию в интернете прямо в text-generation-webui от oobabooga. Модель может запускать поиск с помощью нативного вызова инструментов или регулярного выражения, которое находит команду в её выводе. Расширение загружает страницы из результатов поиска, а затем с помощью плотной модели эмбеддингов в сочетании с Okapi BM25 (или, по желанию, SPLADE) извлекает относящиеся к запросу фрагменты и добавляет их к ответу модели.
LLM_Web_search можно использовать бесплатно? Какая у него лицензия?
LLM_Web_search распространяется с открытым исходным кодом под лицензией AGPL-3.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
LLM_Web_search всё ещё поддерживается?
Активно поддерживается. Последний коммит в LLM_Web_search — 3 нояб. 2026 г..
Для чего можно использовать LLM_Web_search?
Ответы на вопросы о недавних событиях с помощью локально размещённой модели Предоставление локальной чат-модели доступа к интернету без отправки запросов в хостируемый сервис Приватный поиск через самостоятельно размещённый экземпляр SearXNG
Как установить LLM_Web_search?
Установите расширение на вкладке Session веб-интерфейса Запустите скрипт update_wizard и выберите «Install/update extensions requirements» Запустите сервер с включённым расширением: python server.py --extension LLM_Web_search
Где скачать LLM_Web_search?
Исходный код и инструкции по установке — на GitHub: https://github.com/mamei16/LLM_Web_search

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты

StarTrail-org / LEANN

Локальный векторный индекс и инструментарий для RAG: пересчитывает эмбеддинги по запросу и сокращает объём хранения примерно на 97%, позволяя искать личные данные на ноутбуке.

ИИ и машинное обучение#rag#vector-database#vector-search
13,8 тыс.+58 за неделю1,3 тыс.PythonMITАктивно поддерживаетсяОбновлён 4 дня назад

Marker-Inc-Korea / AutoRAG

Персональный библиотекарь-агент ищет информацию в файлах, почте, чатах и заметках на месте и выдаёт пронумерованные ответы со ссылками на источники.

ИИ и машинное обучение#rag#personal-agent#retrieval-augmented-generation
5,4 тыс.+138 за неделю485TypeScriptApache-2.0Обновлён 20 часов назад