Repolode
Enviar
gocolly

gocolly/colly

Un framework de Go para crear scrapers y crawlers web que extraen datos estructurados de sitios web.

Ver en GitHubSitio web
Estrellas
25,578
Forks
1,857
Issues abiertos
194
Último commit
hace 22 días

¿Qué es?

Colly es un framework de scraping y crawling para Go. Ofrece una interfaz sencilla para crear crawlers, scrapers y spiders que extraen datos estructurados de sitios web, por ejemplo, para minería y procesamiento de datos o para archivarlos.

Un collector gestiona el ciclo principal del crawling: visita URL, analiza HTML mediante callbacks para los elementos que coinciden y puede seguir los enlaces que encuentra. Gestiona los retrasos entre solicitudes y el límite de concurrencia por dominio, maneja cookies y sesiones automáticamente y admite scraping síncrono, asíncrono y en paralelo. También incluye compatibilidad con robots.txt, caché de respuestas y conversión automática de codificación para páginas que no usan UTF-8.

El proyecto se distribuye como módulo de Go (github.com/gocolly/colly/v2), se puede configurar mediante variables de entorno y ampliar con plugins.

Funciones clave

  • 01API sencilla para definir callbacks de HTML en los elementos que coinciden
  • 02Retrasos entre solicitudes y límites de concurrencia por dominio
  • 03Gestión automática de cookies y sesiones
  • 04Modos de scraping síncrono, asíncrono y en paralelo
  • 05Caché de respuestas y compatibilidad con robots.txt
  • 06Conversión automática de codificación para páginas que no usan Unicode

Casos de uso

  • Extraer listados de productos o precios de sitios de comercio electrónico y guardarlos en una base de datos
  • Recopilar artículos o citas de sitios web para analizarlos
  • Archivar o replicar páginas según una programación
  • Recorrer un sitio para descubrir y visitar todos sus enlaces

Inicio rápido

  1. 1

    Instala el paquete Colly v2 con go get

    go get github.com/gocolly/colly/v2
  2. 2

    Crea un archivo main.go con el código de ejemplo del README y ejecútalo

En colecciones

Frameworks para crear apps y sitios web

Temas

#web-scraping#crawler#golang#data-extraction#spider#html-parsing#crawling#framework#go#scraper

Preguntas frecuentes

¿Qué es colly?
Un framework de Go para crear scrapers y crawlers web que extraen datos estructurados de sitios web. Colly es un framework de scraping y crawling para Go. Ofrece una interfaz sencilla para crear crawlers, scrapers y spiders que extraen datos estructurados de sitios web, por ejemplo, para minería y procesamiento de datos o para archivarlos.
¿colly es gratuito? ¿Qué licencia tiene?
colly es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿colly sigue mantenido?
Mantenimiento activo. El último commit de colly fue el 16 oct 2026.
¿Para qué puedo usar colly?
Extraer listados de productos o precios de sitios de comercio electrónico y guardarlos en una base de datos Recopilar artículos o citas de sitios web para analizarlos Archivar o replicar páginas según una programación Recorrer un sitio para descubrir y visitar todos sus enlaces
¿Cómo se instala colly?
Instala el paquete Colly v2 con go get: go get github.com/gocolly/colly/v2 Crea un archivo main.go con el código de ejemplo del README y ejecútalo
¿Dónde consigo colly?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/gocolly/colly

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados