Biblioteca de Python que convierte el HTML de una página web en texto listo para LLM, conservando enlaces y tablas para RAG y scraping.
Alternativa open source a:Firecrawl
Jina Reader
llm-reader es una biblioteca de Python que toma una página web y la convierte en texto limpio, adecuado para usar como entrada de un LLM. El preprocesamiento de la página antes de enviarla a un modelo busca mejorar la precisión de la extracción, sobre todo cuando la tarea consiste en extraer enlaces de sitios web, enlaces a imágenes o tablas, como al hacer scraping de un catálogo de comercio electrónico.
La biblioteca ofrece dos pasos: obtener el código fuente de la página con Playwright para hacer scraping asíncrono y concurrente, y procesar ese HTML para convertirlo en texto listo para LLM. La obtención de la página es opcional, ya que puedes proporcionar HTML desde tu propio código u otro servicio. El repositorio incluye un ejemplo que extrae nombres de productos, enlaces, imágenes y precios de un listado de muebles mediante un modelo de OpenAI.
El proyecto se presenta como una alternativa de código abierto a Firecrawl y a Jina Reader API.
Instala la biblioteca desde GitHub con pip
pip install git+https://github.com/m92vyas/llm-reader.gitDescarga el navegador de Playwright
playwright installInstala las dependencias del sistema de Playwright
playwright install-depsImporta get_page_source y get_processed_text; luego, obtén una página y conviértela en texto listo para LLM en tu código
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Rastreador web de Python de código abierto que convierte cualquier sitio web en Markdown limpio y listo para LLM, extrae datos estructurados con CSS o LLM y ofrece una API alojada opcional.
Rastreador web y motor de extracción en Rust que convierte sitios web, PDF y archivos de Office en Markdown limpio y datos estructurados para agentes de IA y pipelines RAG.
Biblioteca de scraping web en Python que usa LLM y pipelines basados en grafos para extraer datos estructurados de sitios web y documentos locales a partir de una instrucción de texto.
SDK en TypeScript, Python y Go para agentes de navegador que controlan Chrome con llamadas en lenguaje natural a act, observe y extract, además de API al estilo Playwright.
Un scraper web con tecnología LLM y basado en Streamlit que extrae datos de páginas usando modelos de OpenAI, Gemini, Ollama o LiteLLM.
Una API para que los agentes de IA busquen, extraigan e interactúen con páginas web, y obtengan markdown limpio, JSON y capturas de pantalla.