Repolode
投稿する
gocolly

gocolly/colly

Webサイトから構造化データを抽出するスクレイパーやクローラーを作成するためのGoフレームワーク。

GitHub で見る公式サイト
スター
25,576
フォーク
1,858
未解決の Issue
194
最終コミット
21 日前

これは何？

Collyは、Go向けのスクレイピング・クローリングフレームワークです。クローラー、スクレイパー、スパイダーを簡潔なインターフェースで作成でき、データマイニング、データ処理、アーカイブなどの用途でWebサイトから構造化データを取得できます。

Collectorがクロールの基本処理を担います。URLにアクセスし、条件に一致する要素向けのコールバックでHTMLを解析し、見つけたリンクをたどることもできます。ドメインごとのリクエスト間隔や最大同時実行数を管理し、Cookieやセッションを自動で処理するほか、同期・非同期・並列スクレイピングに対応しています。robots.txtのサポート、レスポンスキャッシュ、UTF-8以外のページの自動エンコーディング変換も組み込まれています。

このプロジェクトはGo module（github.com/gocolly/colly/v2）として配布されており、環境変数で設定でき、プラグインで機能を拡張できます。

主な機能

  • 01条件に一致する要素に対するHTMLコールバックを定義できる簡潔なAPI
  • 02ドメインごとのリクエスト間隔と同時実行数の制限
  • 03Cookieとセッションの自動処理
  • 04同期・非同期・並列のスクレイピングモード
  • 05レスポンスキャッシュとrobots.txtへの対応
  • 06Unicode以外のページの自動エンコーディング変換

ユースケース

  • ECサイトの商品一覧や価格をデータベースに抽出する
  • データ分析用にWebサイトから記事や引用を収集する
  • 定期的にページをアーカイブまたはミラーリングする
  • サイトをクロールしてすべてのリンクを見つけてアクセスする

クイックスタート

  1. 1

    go get で Colly v2 パッケージをインストールします

    go get github.com/gocolly/colly/v2
  2. 2

    README のサンプルコードを使って main.go ファイルを作成し、実行します

収録されている特集

アプリとWebサイトを作るためのフレームワーク

トピック

#web-scraping#crawler#golang#data-extraction#spider#html-parsing#crawling#framework#go#scraper

よくある質問

colly とは？
Webサイトから構造化データを抽出するスクレイパーやクローラーを作成するためのGoフレームワーク。 Collyは、Go向けのスクレイピング・クローリングフレームワークです。クローラー、スクレイパー、スパイダーを簡潔なインターフェースで作成でき、データマイニング、データ処理、アーカイブなどの用途でWebサイトから構造化データを取得できます。
colly は無料で使えますか？ライセンスは？
colly は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
colly は今もメンテナンスされていますか？
活発にメンテナンス中。colly の最終コミットは 2026年10月16日 です。
colly は何に使えますか？
ECサイトの商品一覧や価格をデータベースに抽出する データ分析用にWebサイトから記事や引用を収集する 定期的にページをアーカイブまたはミラーリングする サイトをクロールしてすべてのリンクを見つけてアクセスする
colly のインストール方法は？
go get で Colly v2 パッケージをインストールします: go get github.com/gocolly/colly/v2 README のサンプルコードを使って main.go ファイルを作成し、実行します
colly はどこで入手できますか？
ソースコードとインストール手順は GitHub にあります：https://github.com/gocolly/colly

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト