Repolode
Enviar
gocolly

gocolly/colly

Framework em Go para criar scrapers e crawlers que extraem dados estruturados de sites.

Ver no GitHubSite
Estrelas
25,578
Forks
1,857
Issues abertas
194
Último commit
há 22 dias

O que é?

Colly é um framework de scraping e crawling para Go. Ele oferece uma interface simples para criar crawlers, scrapers e spiders que extraem dados estruturados de sites, para usos como mineração e processamento de dados ou arquivamento.

Um collector gerencia o fluxo principal do crawling: visita URLs, analisa HTML com callbacks para elementos correspondentes e pode seguir os links que encontra. Ele controla intervalos entre requisições e o limite de concorrência por domínio, gerencia cookies e sessões automaticamente e oferece suporte a scraping síncrono, assíncrono e paralelo. O suporte a robots.txt, o cache de respostas e a conversão automática de codificação para páginas que não usam UTF-8 também já vêm integrados.

O projeto é distribuído como um módulo Go (github.com/gocolly/colly/v2), pode ser configurado por meio de variáveis de ambiente e estendido com plugins.

Recursos principais

  • 01API simples para definir callbacks de HTML em elementos correspondentes
  • 02Intervalos entre requisições e limites de concorrência por domínio
  • 03Gerenciamento automático de cookies e sessões
  • 04Modos de scraping síncrono, assíncrono e paralelo
  • 05Cache de respostas e suporte a robots.txt
  • 06Conversão automática de codificação para páginas que não usam Unicode

Casos de uso

  • Extrair listas de produtos ou preços de sites de e-commerce e armazená-los em um banco de dados
  • Coletar artigos ou citações de sites para análise de dados
  • Arquivar ou espelhar páginas de forma programada
  • Rastrear um site para descobrir e visitar todos os seus links

Início rápido

  1. 1

    Instale o pacote Colly v2 com go get

    go get github.com/gocolly/colly/v2
  2. 2

    Crie um arquivo main.go com o código de exemplo do README e execute-o

Em coleções

Frameworks para criar apps e sites

Tópicos

#web-scraping#crawler#golang#data-extraction#spider#html-parsing#crawling#framework#go#scraper

Perguntas frequentes

O que é colly?
Framework em Go para criar scrapers e crawlers que extraem dados estruturados de sites. Colly é um framework de scraping e crawling para Go. Ele oferece uma interface simples para criar crawlers, scrapers e spiders que extraem dados estruturados de sites, para usos como mineração e processamento de dados ou arquivamento.
colly é gratuito? Qual é a licença?
colly é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
colly ainda é mantido?
Manutenção ativa. O último commit de colly foi em 16 de out. de 2026.
Para que posso usar colly?
Extrair listas de produtos ou preços de sites de e-commerce e armazená-los em um banco de dados Coletar artigos ou citações de sites para análise de dados Arquivar ou espelhar páginas de forma programada Rastrear um site para descobrir e visitar todos os seus links
Como instalar colly?
Instale o pacote Colly v2 com go get: go get github.com/gocolly/colly/v2 Crie um arquivo main.go com o código de exemplo do README e execute-o
Onde consigo colly?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/gocolly/colly

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados