Rastreador web y motor de extracción en Rust que convierte sitios web, PDF y archivos de Office en Markdown limpio y datos estructurados para agentes de IA y pipelines RAG.
Alternativa open source a:Firecrawl
Jina Reader
PageSift es un motor de scraping web y extracción de contenido escrito en Rust, diseñado para alimentar agentes de IA y pipelines de LLM. Obtiene una URL o un archivo subido y convierte el contenido principal en Markdown o datos estructurados. Admite páginas HTML, PDF, Word, Excel, PowerPoint, EPUB y CSV, y puede rastrear sitios completos con una gestión adaptativa de las solicitudes y límites de velocidad por host. Solo recurre a un navegador headless cuando una página necesita JavaScript para mostrar su contenido.
El proyecto se distribuye como un único binario con CLI, un servidor Docker y paquetes para Python y Node.js. Su API HTTP es compatible con Firecrawl v1/v2 y ofrece un endpoint `/r/` al estilo de Jina Reader, por lo que el código de cliente existente de Firecrawl puede conectarse a una instancia local. También funciona como servidor MCP compartido para agentes y puede registrar cada obtención en un archivo de auditoría.
El motor está diseñado para mantener acotado el uso de memoria: limita el tamaño de las colas y lee los límites de memoria de cgroup para ajustar la concurrencia. Las búsquedas focalizadas pueden orientarse mediante una consulta, puntuando los enlaces según su relevancia. Incluye compatibilidad con robots.txt y protecciones contra SSRF para rangos de IP privadas. El proyecto cuenta con licencia AGPL-3.0 y ofrece una licencia comercial.
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Rastreador web de Python de código abierto que convierte cualquier sitio web en Markdown limpio y listo para LLM, extrae datos estructurados con CSS o LLM y ofrece una API alojada opcional.
Una API para que los agentes de IA busquen, extraigan e interactúen con páginas web, y obtengan markdown limpio, JSON y capturas de pantalla.
Herramientas locales de búsqueda, descarga, rastreo e investigación web para agentes de IA mediante MCP, sin claves de API ni costo por consulta.
Biblioteca de Python que convierte el HTML de una página web en texto listo para LLM, conservando enlaces y tablas para RAG y scraping.
Servidor MCP que ofrece a los agentes de IA búsquedas web, extracción de páginas y datos estructurados, y automatización de navegadores remotos mediante Bright Data.
Biblioteca de scraping web en Python que usa LLM y pipelines basados en grafos para extraer datos estructurados de sitios web y documentos locales a partir de una instrucción de texto.