Una biblioteca de Python para crear crawlers y scrapers web fiables, con modos HTTP y de navegador headless, rotación de proxies y almacenamiento persistente.
Alternativa open source a:Scrapy
Crawlee es una biblioteca de Python para web scraping y automatización de navegadores. Se encarga de la infraestructura del crawling: descubre enlaces, pone URLs en cola, ejecuta solicitudes en paralelo, reintenta las páginas que fallan y almacena los datos extraídos en formatos legibles por máquinas, para que los desarrolladores puedan centrarse en la lógica de extracción.
La biblioteca ofrece una interfaz unificada para crawling con HTTP estándar y con navegadores headless. BeautifulSoupCrawler analiza HTML con BeautifulSoup, mientras que PlaywrightCrawler controla un navegador mediante Playwright para acceder a páginas que dependen de JavaScript del lado del cliente. El enrutamiento de solicitudes envía las URLs a distintos controladores, y la biblioteca incluye rotación de proxies y gestión de sesiones.
Crawlee también puede descargar archivos, como HTML, PDF e imágenes. Los crawlers son scripts de Python convencionales con anotaciones de tipos, por lo que se pueden integrar en otras aplicaciones. Con Crawlee CLI se puede crear la estructura inicial de un proyecto a partir de plantillas preparadas.
Instala Crawlee con todas las funciones mediante pip
python -m pip install 'crawlee[all]'Instala las dependencias del navegador de Playwright
playwright installVerifica la instalación mostrando la versión
python -c 'import crawlee; print(crawlee.__version__)'Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Rastreador web de Python de código abierto que convierte cualquier sitio web en Markdown limpio y listo para LLM, extrae datos estructurados con CSS o LLM y ofrece una API alojada opcional.
Un motor de rastreo y extracción web en Rust, diseñado para la concurrencia, que renderiza JavaScript solo cuando hace falta.
Constructor visual autoalojado de flujos de automatización del navegador, ejecutables bajo demanda mediante una API HTTP o según un horario.
Framework de TypeScript que permite a agentes de IA controlar un navegador Playwright para completar tareas web de forma autónoma, como hacer clic, escribir y extraer datos.
Microframework asíncrono de scraping web para Python, basado en asyncio y aiohttp, que busca facilitar al máximo el rastreo de URL.
Rastreador web y herramienta de automatización del navegador, visual y sin código, para diseñar tareas de recopilación de datos haciendo clic en los elementos de una página.