Repolode
Enviar
mamei16

mamei16/LLM_Web_search

Extensión para text-generation-webui que permite a un LLM local buscar en la web e incorporar a sus respuestas extractos relevantes de las páginas.

Ver en GitHub
Estrellas
284
Forks
40
Issues abiertos
6
Último commit
hace 3 días

¿Qué es?

LLM_Web_search permite que los modelos de lenguaje locales busquen en la web desde oobabooga's text-generation-webui. El modelo puede iniciar una búsqueda mediante llamadas nativas a herramientas o con una expresión regular que detecta un comando en su salida. La extensión obtiene las páginas de resultados y usa un modelo de embeddings densos junto con Okapi BM25 (o, de forma opcional, SPLADE) para extraer los pasajes relevantes para la consulta antes de añadirlos a la respuesta del modelo.

De forma predeterminada, las búsquedas se hacen en DuckDuckGo, aunque también se puede usar una instancia de SearXNG que devuelva JSON. Ofrece un modo sencillo que utiliza solo los fragmentos de los resultados de búsqueda y un modo completo que analiza las páginas enteras. El texto de las páginas puede dividirse en fragmentos de tamaño fijo, mediante división semántica basada en la distancia entre embeddings o con un modelo de clasificación de tokens basado en DistilBERT.

El proyecto está pensado para quienes ejecutan modelos localmente con text-generation-webui y quieren que respondan preguntas sobre información actual. Se instala como una extensión estándar y cuenta con licencia AGPL-3.0.

Funciones clave

  • 01Llamadas nativas a herramientas o comandos de búsqueda activados mediante expresiones regulares
  • 02DuckDuckGo de forma predeterminada, con SearXNG como backend opcional
  • 03Modos de búsqueda sencillo y completo
  • 04Recuperación por palabras clave con Okapi BM25 o SPLADE, combinada con embeddings densos
  • 05Opciones de división en fragmentos por caracteres, semántica o clasificación de tokens

Casos de uso

  • Responder preguntas sobre acontecimientos recientes con un modelo alojado localmente
  • Dar acceso a la web a un modelo de chat local sin enviar prompts a un servicio alojado
  • Realizar búsquedas privadas mediante una instancia de SearXNG autohospedada

Inicio rápido

  1. 1

    Instala la extensión desde la pestaña Session de la interfaz web

  2. 2

    Ejecuta el script update_wizard y selecciona «Install/update extensions requirements»

  3. 3

    Inicia el servidor con la extensión habilitada

    python server.py --extension LLM_Web_search

Antes de usarlo

  • Es una extensión para text-generation-webui, por lo que primero debes instalar esa aplicación.
  • Está bajo la licencia AGPL-3.0, una licencia copyleft que exige compartir el código fuente de los servicios derivados ofrecidos a través de la red.
  • Full search, semantic chunking y SPLADE son más lentos y requieren más recursos. SPLADE aprovecha mejor una GPU.

Temas

#llm#web-search#rag#text-generation-webui#duckduckgo#searxng#bm25#embeddings#chatgpt#faiss

Preguntas frecuentes

¿Qué es LLM_Web_search?
Extensión para text-generation-webui que permite a un LLM local buscar en la web e incorporar a sus respuestas extractos relevantes de las páginas. LLM_Web_search permite que los modelos de lenguaje locales busquen en la web desde oobabooga's text-generation-webui. El modelo puede iniciar una búsqueda mediante llamadas nativas a herramientas o con una expresión regular que detecta un comando en su salida. La extensión obtiene las páginas de resultados y usa un modelo de embeddings densos junto con Okapi BM25 (o, de forma opcional, SPLADE) para extraer los pasajes relevantes para la consulta antes de añadirlos a la respuesta del modelo.
¿LLM_Web_search es gratuito? ¿Qué licencia tiene?
LLM_Web_search es open source bajo la licencia AGPL-3.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿LLM_Web_search sigue mantenido?
Mantenimiento activo. El último commit de LLM_Web_search fue el 3 nov 2026.
¿Para qué puedo usar LLM_Web_search?
Responder preguntas sobre acontecimientos recientes con un modelo alojado localmente Dar acceso a la web a un modelo de chat local sin enviar prompts a un servicio alojado Realizar búsquedas privadas mediante una instancia de SearXNG autohospedada
¿Cómo se instala LLM_Web_search?
Instala la extensión desde la pestaña Session de la interfaz web Ejecuta el script update_wizard y selecciona «Install/update extensions requirements» Inicia el servidor con la extensión habilitada: python server.py --extension LLM_Web_search
¿Dónde consigo LLM_Web_search?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/mamei16/LLM_Web_search

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados