Projetos open source sobre “web-scraping”

Extensão do Chrome que identifica os sistemas anti-bot, CAPTCHAs e técnicas de fingerprinting usados por um site, com níveis de confiança.

Uma plataforma de automação de navegador que transforma ações gravadas em comandos MCP ou Claude Skills para que agentes de IA controlem navegadores diretamente.

Framework Python para criar web scrapers que tentam driblar a detecção de bots, com modos de navegador e requisições HTTP, geração de UI e suporte a apps desktop.

Um pacote Python leve que pesquisa no Google News e retorna artigos em JSON, com opção de extrair o texto completo.

Analisa qualquer site com Playwright e extrai seu sistema de design (cores, tipografia, espaçamento e componentes), exportando-o como Tailwind, React, tokens ou Markdown.

Plataforma de dados web open source que transforma qualquer site em uma API estruturada por meio de scraping, crawling, busca, monitoramento e extração com IA.

Um navegador para agentes de IA, que executam automações em Spaces isolados enquanto você continua usando suas próprias abas e logins.

Ferramenta que extrai modelos de estilo visual reutilizáveis de artigos de contas oficiais do WeChat e os mostra como texto formatado, pronto para colar no editor do WeChat.

Ferramenta em Python com WebUI e CLI para baixar em lote livros didáticos eletrônicos da PEP (People's Education Press) e reuni-los em PDFs.

Ferramenta self-hosted que monitora mudanças de conteúdo, preço e estoque em páginas da web e envia alertas por diversos canais de notificação.

Uma ferramenta de linha de comando em Rust que busca dados em dezenas de sites, como Bilibili, Reddit e Hacker News, com um único comando.

Crawler web de código aberto em Python que transforma qualquer site em Markdown limpo e pronto para LLMs, RAG, agentes de IA e pipelines de dados.