Repolode
Enviar
alirezamika

alirezamika/autoscraper

Um scraper web em Python que aprende regras de extração a partir de dados de exemplo em uma página e as reutiliza em páginas semelhantes ou novas.

Ver no GitHub
Estrelas
8,072
Forks
832
Issues abertas
2
Último commit
há 3 meses

O que é?

AutoScraper é uma biblioteca Python para extrair dados de páginas web sem escrever seletores manualmente. Você fornece uma URL ou conteúdo HTML junto com uma lista dos valores que deseja obter, como textos, links ou valores de tags HTML específicas. A biblioteca aprende as regras que localizam esses elementos e retorna itens semelhantes da página.

Depois de criado, o objeto scraper pode ser salvo em disco e carregado mais tarde. Ele pode então buscar conteúdo semelhante em outras páginas com o mesmo layout ou recuperar exatamente os mesmos elementos em novas URLs, na ordem em que as amostras foram fornecidas. Opções do requests, como proxies e cabeçalhos personalizados, podem ser repassadas às chamadas requests subjacentes.

A biblioteca é voltada para Python 3 e pode ser instalada pelo PyPI ou diretamente do repositório Git.

Recursos principais

  • 01Aprende regras de scraping a partir de alguns valores de exemplo, sem seletores manuais.
  • 02Extrai textos, URLs ou valores de tags HTML específicas.
  • 03Retorna elementos semelhantes de outras páginas com a mesma estrutura.
  • 04Salva e carrega modelos de scraper treinados.
  • 05Repassa parâmetros personalizados do requests, como proxies e cabeçalhos.

Casos de uso

  • Extrair títulos ou preços de uma lista de páginas que compartilham o mesmo layout.
  • Transformar um site em uma API simples, integrando um scraper salvo a um framework web.
  • Prototipar rapidamente um scraper sem escrever seletores CSS ou XPath.

Início rápido

  1. 1

    Instale a biblioteca pelo PyPI

    pip install autoscraper
  2. 2

    Importe AutoScraper, crie um scraper a partir de uma URL e de dados de exemplo e, em seguida, obtenha resultados semelhantes

Antes de usar

  • As regras aprendidas podem deixar de funcionar se a estrutura HTML de uma página mudar.
  • O README não documenta a renderização de JavaScript, então o conteúdo carregado dinamicamente pode não ser capturado.

Tópicos

#web-scraping#python#scraper#automation#crawler#data-extraction#ai#artificial-intelligence#machine-learning#scrape

Perguntas frequentes

O que é autoscraper?
Um scraper web em Python que aprende regras de extração a partir de dados de exemplo em uma página e as reutiliza em páginas semelhantes ou novas. AutoScraper é uma biblioteca Python para extrair dados de páginas web sem escrever seletores manualmente. Você fornece uma URL ou conteúdo HTML junto com uma lista dos valores que deseja obter, como textos, links ou valores de tags HTML específicas. A biblioteca aprende as regras que localizam esses elementos e retorna itens semelhantes da página.
autoscraper é gratuito? Qual é a licença?
autoscraper é open source sob a licença MIT. Confira os termos da licença antes de usá-lo em produtos comerciais.
autoscraper ainda é mantido?
Atualizado nos últimos 6 meses. O último commit de autoscraper foi em 29 de jul. de 2026.
Para que posso usar autoscraper?
Extrair títulos ou preços de uma lista de páginas que compartilham o mesmo layout. Transformar um site em uma API simples, integrando um scraper salvo a um framework web. Prototipar rapidamente um scraper sem escrever seletores CSS ou XPath.
Como instalar autoscraper?
Instale a biblioteca pelo PyPI: pip install autoscraper Importe AutoScraper, crie um scraper a partir de uma URL e de dados de exemplo e, em seguida, obtenha resultados semelhantes
Onde consigo autoscraper?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/alirezamika/autoscraper

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados