Repolode
제출하기
gocolly

gocolly/colly

웹사이트에서 구조화된 데이터를 추출하는 스크래퍼와 크롤러를 만들기 위한 Go 프레임워크입니다.

GitHub에서 보기웹사이트
스타
25,576
포크
1,858
열린 이슈
194
마지막 커밋
21일 전

어떤 프로젝트인가요?

Colly는 Go용 스크래핑 및 크롤링 프레임워크입니다. 웹사이트에서 구조화된 데이터를 가져오는 크롤러, 스크래퍼, 스파이더를 간결한 인터페이스로 작성할 수 있어 데이터 마이닝, 데이터 처리, 아카이빙 등에 활용할 수 있습니다.

Collector는 크롤링의 핵심 흐름을 담당합니다. URL을 방문하고, 일치하는 요소에 적용할 콜백으로 HTML을 파싱하며, 발견한 링크를 따라갈 수도 있습니다. 도메인별 요청 간격과 최대 동시 요청 수를 관리하고, 쿠키와 세션을 자동으로 처리하며, 동기·비동기·병렬 스크래핑을 지원합니다. robots.txt 지원, 응답 캐싱, UTF-8이 아닌 페이지의 자동 인코딩 변환 기능도 기본으로 제공됩니다.

이 프로젝트는 Go 모듈(github.com/gocolly/colly/v2)로 배포되며, 환경 변수를 통해 설정하고 플러그인으로 확장할 수 있습니다.

핵심 기능

  • 01일치하는 요소에 적용할 HTML 콜백을 정의하는 간결한 API
  • 02도메인별 요청 간격 및 동시 요청 제한
  • 03쿠키와 세션 자동 처리
  • 04동기·비동기·병렬 스크래핑 모드
  • 05응답 캐싱 및 robots.txt 지원
  • 06유니코드가 아닌 페이지의 자동 인코딩 변환

활용 사례

  • 전자상거래 사이트에서 상품 목록이나 가격을 추출해 데이터베이스에 저장
  • 웹사이트에서 기사나 인용문을 수집해 데이터 분석에 활용
  • 일정에 따라 페이지를 아카이빙하거나 미러링
  • 사이트를 크롤링해 모든 링크를 발견하고 방문

빠른 시작

  1. 1

    go get으로 Colly v2 패키지를 설치합니다

    go get github.com/gocolly/colly/v2
  2. 2

    README의 예제 코드로 main.go 파일을 만들고 실행합니다

포함된 컬렉션

앱과 웹사이트를 만드는 프레임워크

토픽

#web-scraping#crawler#golang#data-extraction#spider#html-parsing#crawling#framework#go#scraper

자주 묻는 질문

colly은(는) 무엇인가요?
웹사이트에서 구조화된 데이터를 추출하는 스크래퍼와 크롤러를 만들기 위한 Go 프레임워크입니다. Colly는 Go용 스크래핑 및 크롤링 프레임워크입니다. 웹사이트에서 구조화된 데이터를 가져오는 크롤러, 스크래퍼, 스파이더를 간결한 인터페이스로 작성할 수 있어 데이터 마이닝, 데이터 처리, 아카이빙 등에 활용할 수 있습니다.
colly은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
colly은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
colly은(는) 아직 유지보수되고 있나요?
활발히 유지보수 중. colly의 마지막 커밋은 2026년 10월 16일입니다.
colly은(는) 어디에 사용할 수 있나요?
전자상거래 사이트에서 상품 목록이나 가격을 추출해 데이터베이스에 저장 웹사이트에서 기사나 인용문을 수집해 데이터 분석에 활용 일정에 따라 페이지를 아카이빙하거나 미러링 사이트를 크롤링해 모든 링크를 발견하고 방문
colly는 어떻게 설치하나요?
go get으로 Colly v2 패키지를 설치합니다: go get github.com/gocolly/colly/v2 README의 예제 코드로 main.go 파일을 만들고 실행합니다
colly은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/gocolly/colly

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트