Repolode
Enviar
D4Vinci

D4Vinci/Scrapling

Framework de web scraping em Python para requisições HTTP, navegadores stealth, parsing e crawls concorrentes completos com exportação de dados.

Ver no GitHubSite
Estrelas
88,646
Forks
9,146
Issues abertas
9
Último commit
há 5 horas

O que é?

Scrapling é um framework de web scraping em Python que reúne, em uma única biblioteca, requisições HTTP rápidas, navegadores stealth, um parser com seleção por CSS, XPath e texto, e um mecanismo de spiders concorrentes. Ele pode buscar páginas estáticas, renderizar JavaScript, interagir com sites e capturar as chamadas de API usadas por eles.

Para tarefas maiores, sua API de Spider, semelhante à do Scrapy, oferece limitação de requisições por domínio, rotação de proxies, novas tentativas, pausa e retomada por meio de um diretório de checkpoint, saída em streaming e exportação para JSON, JSONL, CSV e XML. Os templates integrados incluem suporte a sitemaps, feeds, seguimento de links e lojas Shopify.

Também é possível usar o Scrapling pelo terminal, por meio de sua CLI e shell interativo, ou com agentes de IA, por meio de um servidor MCP e de um Agent Skill instalável. Ele pode converter páginas para Markdown para uso em pipelines de RAG.

Recursos principais

  • 01Fetchers para requisições HTTP simples, navegadores stealth e sessões persistentes com rotação de proxies.
  • 02Spiders concorrentes com limitação de requisições por domínio, AutoThrottle, suporte a robots.txt e novas tentativas.
  • 03Pausa e retomada de crawls longos usando um diretório de checkpoint.
  • 04Seleção por CSS, XPath, texto, regex e elementos semelhantes, com rastreamento adaptativo de elementos.
  • 05Exportação de resultados para JSON, JSONL, CSV ou XML.
  • 06Servidor MCP, Agent Skill e CLI para uso por agentes de IA e no terminal.

Casos de uso

  • Extrair alguns campos de uma página estática ou renderizada com JavaScript usando um script Python.
  • Executar um crawl extenso de um site com pausa, retomada e exportações estruturadas.
  • Permitir que um agente de IA navegue por páginas e extraia dados via MCP.
  • Converter páginas da web em coleções Markdown para geração aumentada por recuperação (RAG).

Início rápido

  1. 1

    Leia as instruções de instalação no README

  2. 2

    Busque uma única página usando o exemplo de Fetcher do README

Tópicos

#web-scraping#crawler#python#headless-browser#data-extraction#mcp#parsing#proxy#ai#ai-scraping

Perguntas frequentes

O que é Scrapling?
Framework de web scraping em Python para requisições HTTP, navegadores stealth, parsing e crawls concorrentes completos com exportação de dados. Scrapling é um framework de web scraping em Python que reúne, em uma única biblioteca, requisições HTTP rápidas, navegadores stealth, um parser com seleção por CSS, XPath e texto, e um mecanismo de spiders concorrentes. Ele pode buscar páginas estáticas, renderizar JavaScript, interagir com sites e capturar as chamadas de API usadas por eles.
Scrapling é gratuito? Qual é a licença?
Scrapling é open source sob a licença BSD-3-Clause. Confira os termos da licença antes de usá-lo em produtos comerciais.
Scrapling ainda é mantido?
Manutenção ativa. O último commit de Scrapling foi em 19 de out. de 2026.
Para que posso usar Scrapling?
Extrair alguns campos de uma página estática ou renderizada com JavaScript usando um script Python. Executar um crawl extenso de um site com pausa, retomada e exportações estruturadas. Permitir que um agente de IA navegue por páginas e extraia dados via MCP. Converter páginas da web em coleções Markdown para geração aumentada por recuperação (RAG).
Como instalar Scrapling?
Leia as instruções de instalação no README Busque uma única página usando o exemplo de Fetcher do README
Onde consigo Scrapling?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/D4Vinci/Scrapling

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados