Repolode
Enviar
mamei16

mamei16/LLM_Web_search

Extensão para o text-generation-webui que permite a um LLM local pesquisar na web e incluir trechos relevantes das páginas nas respostas.

Ver no GitHub
Estrelas
284
Forks
40
Issues abertas
6
Último commit
há 3 dias

O que é?

LLM_Web_search permite que modelos de linguagem locais pesquisem na web dentro do text-generation-webui do oobabooga. O modelo pode iniciar uma pesquisa usando chamadas nativas de ferramentas ou uma expressão regular que identifica um comando na saída. A extensão busca as páginas dos resultados e, em seguida, usa um modelo de embeddings densos combinado com Okapi BM25 (ou, opcionalmente, SPLADE) para extrair os trechos relevantes para a consulta e incluí-los na saída do modelo.

A pesquisa pode usar o DuckDuckGo por padrão ou uma instância do SearXNG que retorne JSON. Há um modo simples, que usa apenas os snippets dos resultados, e um modo completo, que analisa as páginas inteiras. O texto das páginas pode ser dividido em segmentos com tamanho fixo, por divisão semântica baseada na distância entre embeddings ou com um modelo de classificação de tokens baseado em DistilBERT.

O projeto é voltado a quem executa modelos localmente com o text-generation-webui e quer que eles respondam a perguntas sobre informações atuais. Ele é instalado como uma extensão padrão e está licenciado sob AGPL-3.0.

Recursos principais

  • 01Chamadas nativas de ferramentas ou comandos de pesquisa acionados por regex
  • 02DuckDuckGo por padrão, com SearXNG como backend opcional
  • 03Modos de pesquisa simples e completo
  • 04Recuperação por palavras-chave com Okapi BM25 ou SPLADE, combinada com embeddings densos
  • 05Opções de divisão em segmentos por caracteres, semântica ou classificação de tokens

Casos de uso

  • Responder a perguntas sobre acontecimentos recentes usando um modelo hospedado localmente
  • Dar acesso à web a um modelo de chat local sem enviar prompts para um serviço hospedado
  • Fazer pesquisas privadas por meio de uma instância própria do SearXNG

Início rápido

  1. 1

    Instale a extensão pela aba Session da interface web

  2. 2

    Execute o script update_wizard e escolha “Install/update extensions requirements”

  3. 3

    Inicie o servidor com a extensão ativada

    python server.py --extension LLM_Web_search

Antes de usar

  • É uma extensão para text-generation-webui, então esse aplicativo precisa ser instalado primeiro.
  • É licenciada sob AGPL-3.0, uma licença copyleft que exige que serviços derivados disponibilizados pela rede compartilhem o código-fonte.
  • Full search, semantic chunking e SPLADE são mais lentos e precisam de mais recursos. O SPLADE se beneficia do uso de uma GPU.

Tópicos

#llm#web-search#rag#text-generation-webui#duckduckgo#searxng#bm25#embeddings#chatgpt#faiss

Perguntas frequentes

O que é LLM_Web_search?
Extensão para o text-generation-webui que permite a um LLM local pesquisar na web e incluir trechos relevantes das páginas nas respostas. LLM_Web_search permite que modelos de linguagem locais pesquisem na web dentro do text-generation-webui do oobabooga. O modelo pode iniciar uma pesquisa usando chamadas nativas de ferramentas ou uma expressão regular que identifica um comando na saída. A extensão busca as páginas dos resultados e, em seguida, usa um modelo de embeddings densos combinado com Okapi BM25 (ou, opcionalmente, SPLADE) para extrair os trechos relevantes para a consulta e incluí-los na saída do modelo.
LLM_Web_search é gratuito? Qual é a licença?
LLM_Web_search é open source sob a licença AGPL-3.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
LLM_Web_search ainda é mantido?
Manutenção ativa. O último commit de LLM_Web_search foi em 3 de nov. de 2026.
Para que posso usar LLM_Web_search?
Responder a perguntas sobre acontecimentos recentes usando um modelo hospedado localmente Dar acesso à web a um modelo de chat local sem enviar prompts para um serviço hospedado Fazer pesquisas privadas por meio de uma instância própria do SearXNG
Como instalar LLM_Web_search?
Instale a extensão pela aba Session da interface web Execute o script update_wizard e escolha “Install/update extensions requirements” Inicie o servidor com a extensão ativada: python server.py --extension LLM_Web_search
Onde consigo LLM_Web_search?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/mamei16/LLM_Web_search

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados