Repolode
Предложить
gocolly

gocolly/colly

Go-фреймворк для создания веб-скрейперов и краулеров, извлекающих структурированные данные с сайтов.

Открыть на GitHubСайт
Звёзды
25,578
Форки
1,857
Открытые issues
194
Последний коммит
22 дня назад

Что это?

Colly — фреймворк для скрейпинга и обхода сайтов на Go. Он предоставляет удобный интерфейс для создания краулеров, скрейперов и пауков, которые извлекают с сайтов структурированные данные для таких задач, как интеллектуальный анализ данных, обработка данных и архивирование.

Коллектор выполняет основной цикл обхода: посещает URL, разбирает HTML с помощью callback-функций для подходящих элементов и может переходить по найденным ссылкам. Он управляет задержками между запросами и максимальным числом параллельных запросов к каждому домену, автоматически обрабатывает cookies и сессии, а также поддерживает синхронный, асинхронный и параллельный скрейпинг. Встроены поддержка robots.txt, кэширование ответов и автоматическое преобразование кодировок страниц не в UTF-8.

Проект распространяется как Go-модуль (github.com/gocolly/colly/v2), настраивается через переменные окружения и расширяется плагинами.

Ключевые возможности

  • 01Удобный API для задания callback-функций HTML-элементов по условиям
  • 02Задержки между запросами и ограничения параллелизма для каждого домена
  • 03Автоматическая обработка cookies и сессий
  • 04Синхронный, асинхронный и параллельный режимы скрейпинга
  • 05Кэширование ответов и поддержка robots.txt
  • 06Автоматическое преобразование кодировок страниц не в Unicode

Сценарии использования

  • Извлечение товарных карточек или цен с сайтов электронной коммерции и сохранение их в базе данных
  • Сбор статей или цитат с сайтов для анализа данных
  • Архивирование страниц или создание их зеркал по расписанию
  • Обход сайта для поиска и посещения всех его ссылок

Быстрый старт

  1. 1

    Установите пакет Colly v2 с помощью go get

    go get github.com/gocolly/colly/v2
  2. 2

    Создайте файл main.go с примером кода из README и запустите его

В подборках

Фреймворки для создания приложений и сайтов

Темы

#web-scraping#crawler#golang#data-extraction#spider#html-parsing#crawling#framework#go#scraper

Частые вопросы

Что такое colly?
Go-фреймворк для создания веб-скрейперов и краулеров, извлекающих структурированные данные с сайтов. Colly — фреймворк для скрейпинга и обхода сайтов на Go. Он предоставляет удобный интерфейс для создания краулеров, скрейперов и пауков, которые извлекают с сайтов структурированные данные для таких задач, как интеллектуальный анализ данных, обработка данных и архивирование.
colly можно использовать бесплатно? Какая у него лицензия?
colly распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
colly всё ещё поддерживается?
Активно поддерживается. Последний коммит в colly — 16 окт. 2026 г..
Для чего можно использовать colly?
Извлечение товарных карточек или цен с сайтов электронной коммерции и сохранение их в базе данных Сбор статей или цитат с сайтов для анализа данных Архивирование страниц или создание их зеркал по расписанию Обход сайта для поиска и посещения всех его ссылок
Как установить colly?
Установите пакет Colly v2 с помощью go get: go get github.com/gocolly/colly/v2 Создайте файл main.go с примером кода из README и запустите его
Где скачать colly?
Исходный код и инструкции по установке — на GitHub: https://github.com/gocolly/colly

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты

codelucas / newspaper

Библиотека для Python 3, которая загружает новостные статьи и извлекает из них текст, авторов, дату публикации, изображения, ключевые слова и краткое содержание.

Данные и аналитика#python#web-scraping#news-extraction
15,2 тыс.2,1 тыс.PythonMITОбновлён 13 дней назад