Repolode
投稿する
VicenteVivan

VicenteVivan/geo-clip

画像とGPS座標を対応付け、世界規模の画像ジオローカライゼーションを行う、GeoCLIPのPyTorch実装です。

GitHub で見る公式サイト
スター
413
フォーク
52
未解決の Issue
9
最終コミット
15 日前

これは何？

GeoCLIPは、写真が世界のどこで撮影されたかを推定します。OpenAIのCLIPが画像とテキストを対応付けるのと同様に、画像とGPS座標のペアを使った対照学習で画像エンコーダーと位置エンコーダーを学習します。モデルの学習には、約470万枚の位置情報付き画像を含むMP-16データセットを使用しています。

位置エンコーダーは地球を連続関数として扱うため、事前学習済みのGPSエンコーダーとして単独でも利用でき、座標から512次元の埋め込みを生成します。READMEによると、視覚特徴と組み合わせることで、Geo-Tagged NUS-Wideデータセットにおけるマルチクラス分類の精度向上に利用されています。

このプロジェクトは`geoclip`パッケージとしてpipでインストールできます。APIには、画像に対する確率付き上位k件のGPS候補を返す`predict`メソッドを持つ`GeoCLIP`クラスと、座標を埋め込む`LocationEncoder`クラスが用意されています。

主な機能

  • 01入力画像に対し、確率付きの上位k件のGPS座標を予測します。
  • 02緯度・経度のペアを埋め込む、単独で利用できる事前学習済み位置エンコーダーを提供します。
  • 03約470万枚の位置情報付き画像を含むMP-16データセットで対照学習しています。
  • 04pipまたはソースコードからインストールできます。

ユースケース

  • GPSメタデータのない写真の撮影場所を推定する。
  • 位置情報を考慮した分類モデルの追加特徴量としてGPS埋め込みを利用する。
  • 世界規模の画像ジオローカライゼーションや位置表現学習を研究する。

クイックスタート

  1. 1

    PyPIからパッケージをインストールする

    pip install geoclip
  2. 2

    モデルを読み込み、画像のGPS座標を予測する

使う前に知っておきたいこと

  • READMEにハードウェア要件が記載されていないため、GPUが必要かどうかは不明です。

収録されている特集

コンピュータービジョンのライブラリとツール

トピック

#geolocalization#pytorch#contrastive-learning#gps-embeddings#computer-vision#multimodal#deep-learning#geography#geolocation-estimation#machine-learning

よくある質問

geo-clip とは？
画像とGPS座標を対応付け、世界規模の画像ジオローカライゼーションを行う、GeoCLIPのPyTorch実装です。 GeoCLIPは、写真が世界のどこで撮影されたかを推定します。OpenAIのCLIPが画像とテキストを対応付けるのと同様に、画像とGPS座標のペアを使った対照学習で画像エンコーダーと位置エンコーダーを学習します。モデルの学習には、約470万枚の位置情報付き画像を含むMP-16データセットを使用しています。
geo-clip は無料で使えますか？ライセンスは？
geo-clip は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
geo-clip は今もメンテナンスされていますか？
活発にメンテナンス中。geo-clip の最終コミットは 2026年10月7日 です。
geo-clip は何に使えますか？
GPSメタデータのない写真の撮影場所を推定する。 位置情報を考慮した分類モデルの追加特徴量としてGPS埋め込みを利用する。 世界規模の画像ジオローカライゼーションや位置表現学習を研究する。
geo-clip のインストール方法は？
PyPIからパッケージをインストールする: pip install geoclip モデルを読み込み、画像のGPS座標を予測する
geo-clip はどこで入手できますか？
ソースコードとインストール手順は GitHub にあります：https://github.com/VicenteVivan/geo-clip

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト