Repolode
Enviar
D4Vinci

D4Vinci/Scrapling

Framework de web scraping para Python que abarca desde solicitudes HTTP individuales y navegadores stealth hasta análisis y rastreos concurrentes completos con exportación.

Ver en GitHubSitio web
Estrellas
88,646
Forks
9,146
Issues abiertos
9
Último commit
hace 5 horas

¿Qué es?

Scrapling es un framework de web scraping para Python que combina solicitudes HTTP rápidas, navegadores stealth, un parser con selectores CSS, XPath y de texto, y un motor de spiders concurrentes en una sola biblioteca. Puede obtener páginas estáticas, renderizar JavaScript, interactuar con sitios y capturar las llamadas a la API que realizan.

Para trabajos de mayor escala, su API de Spider, similar a la de Scrapy, admite limitación de velocidad por dominio, rotación de proxies, reintentos, pausar y reanudar mediante un directorio de checkpoints, salida en streaming y exportación a JSON, JSONL, CSV y XML. Las plantillas integradas incluyen sitemaps, feeds, seguimiento de enlaces y tiendas Shopify.

Scrapling también se puede ejecutar desde la terminal mediante su CLI y su shell interactiva, o desde agentes de IA mediante un servidor MCP y una Agent Skill instalable. Puede convertir páginas a Markdown para usarlas en pipelines de RAG.

Funciones clave

  • 01Fetchers para solicitudes HTTP estándar, navegadores stealth y sesiones persistentes con rotación de proxies.
  • 02Spiders concurrentes con limitación de velocidad por dominio, AutoThrottle, compatibilidad con robots.txt y reintentos.
  • 03Pausar y reanudar rastreos largos mediante un directorio de checkpoints.
  • 04Selección mediante CSS, XPath, texto, regex y elementos similares, con seguimiento adaptativo de elementos.
  • 05Exportación de resultados a JSON, JSONL, CSV o XML.
  • 06Servidor MCP, Agent Skill y CLI para usar desde agentes de IA y la terminal.

Casos de uso

  • Extraer unos pocos campos de una página estática o renderizada con JavaScript desde un script de Python.
  • Ejecutar un rastreo de gran escala de un sitio web con opciones para pausar, reanudar y exportar datos estructurados.
  • Permitir que un agente de IA navegue por páginas y extraiga datos mediante MCP.
  • Convertir páginas web en corpus Markdown para generación aumentada por recuperación.

Inicio rápido

  1. 1

    Lee las instrucciones de instalación del README

  2. 2

    Obtén una sola página con el ejemplo de Fetcher del README

Temas

#web-scraping#crawler#python#headless-browser#data-extraction#mcp#parsing#proxy#ai#ai-scraping

Preguntas frecuentes

¿Qué es Scrapling?
Framework de web scraping para Python que abarca desde solicitudes HTTP individuales y navegadores stealth hasta análisis y rastreos concurrentes completos con exportación. Scrapling es un framework de web scraping para Python que combina solicitudes HTTP rápidas, navegadores stealth, un parser con selectores CSS, XPath y de texto, y un motor de spiders concurrentes en una sola biblioteca. Puede obtener páginas estáticas, renderizar JavaScript, interactuar con sitios y capturar las llamadas a la API que realizan.
¿Scrapling es gratuito? ¿Qué licencia tiene?
Scrapling es open source bajo la licencia BSD-3-Clause. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿Scrapling sigue mantenido?
Mantenimiento activo. El último commit de Scrapling fue el 19 oct 2026.
¿Para qué puedo usar Scrapling?
Extraer unos pocos campos de una página estática o renderizada con JavaScript desde un script de Python. Ejecutar un rastreo de gran escala de un sitio web con opciones para pausar, reanudar y exportar datos estructurados. Permitir que un agente de IA navegue por páginas y extraiga datos mediante MCP. Convertir páginas web en corpus Markdown para generación aumentada por recuperación.
¿Cómo se instala Scrapling?
Lee las instrucciones de instalación del README Obtén una sola página con el ejemplo de Fetcher del README
¿Dónde consigo Scrapling?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/D4Vinci/Scrapling

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados