Repolode
Предложить
VicenteVivan

VicenteVivan/geo-clip

Реализация GeoCLIP на PyTorch: модель в стиле CLIP, которая сопоставляет изображения с GPS-координатами для геолокализации фотографий по всему миру.

Открыть на GitHubСайт
Звёзды
413
Форки
52
Открытые issues
9
Последний коммит
15 дней назад

Что это?

GeoCLIP определяет, где в мире была сделана фотография. Модель обучает энкодеры изображений и местоположений контрастивным методом на парах «изображение — GPS», подобно тому, как CLIP от OpenAI сопоставляет изображения с текстом. Для обучения используется датасет MP-16, содержащий около 4,7 млн изображений с геотегами.

Энкодер местоположений представляет Землю как непрерывную функцию, поэтому его можно использовать отдельно в качестве предварительно обученного GPS-энкодера, который преобразует координаты в 512-мерные эмбеддинги. В README описано, как этот энкодер в сочетании с визуальными признаками улучшает многоклассовую классификацию на датасете Geo-Tagged NUS-Wide.

Проект можно установить через pip как пакет `geoclip`. API предоставляет класс `GeoCLIP`: его метод `predict` возвращает для изображения top-k GPS-кандидатов с вероятностями. Класс `LocationEncoder` позволяет получать эмбеддинги координат.

Ключевые возможности

  • 01Предсказывает top-k GPS-координат с вероятностями для входного изображения.
  • 02Предоставляет отдельный предварительно обученный энкодер местоположений, который преобразует пары широты и долготы в эмбеддинги.
  • 03Обучен контрастивным методом на датасете MP-16, содержащем около 4,7 млн изображений с геотегами.
  • 04Устанавливается через pip или из исходного кода.

Сценарии использования

  • Определение вероятного места съёмки фотографий без GPS-метаданных.
  • Использование GPS-эмбеддингов как дополнительных признаков в моделях классификации с учётом геолокации.
  • Исследования в области геолокализации изображений по всему миру и обучения представлений местоположений.

Быстрый старт

  1. 1

    Установите пакет из PyPI

    pip install geoclip
  2. 2

    Загрузите модель и предскажите GPS-координаты изображения

Что важно знать

  • В README не указаны требования к оборудованию, поэтому неясно, нужна ли GPU.

В подборках

Библиотеки и инструменты компьютерного зрения

Темы

#geolocalization#pytorch#contrastive-learning#gps-embeddings#computer-vision#multimodal#deep-learning#geography#geolocation-estimation#machine-learning

Частые вопросы

Что такое geo-clip?
Реализация GeoCLIP на PyTorch: модель в стиле CLIP, которая сопоставляет изображения с GPS-координатами для геолокализации фотографий по всему миру. GeoCLIP определяет, где в мире была сделана фотография. Модель обучает энкодеры изображений и местоположений контрастивным методом на парах «изображение — GPS», подобно тому, как CLIP от OpenAI сопоставляет изображения с текстом. Для обучения используется датасет MP-16, содержащий около 4,7 млн изображений с геотегами.
geo-clip можно использовать бесплатно? Какая у него лицензия?
geo-clip распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.
geo-clip всё ещё поддерживается?
Активно поддерживается. Последний коммит в geo-clip — 7 окт. 2026 г..
Для чего можно использовать geo-clip?
Определение вероятного места съёмки фотографий без GPS-метаданных. Использование GPS-эмбеддингов как дополнительных признаков в моделях классификации с учётом геолокации. Исследования в области геолокализации изображений по всему миру и обучения представлений местоположений.
Как установить geo-clip?
Установите пакет из PyPI: pip install geoclip Загрузите модель и предскажите GPS-координаты изображения
Где скачать geo-clip?
Исходный код и инструкции по установке — на GitHub: https://github.com/VicenteVivan/geo-clip

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты

microsoft / AI-For-Beginners

Учебная программа Microsoft по ИИ для начинающих: 12 недель и 24 урока о символическом ИИ, нейросетях, компьютерном зрении, NLP и этике, с ноутбуками на PyTorch и TensorFlow.

Обучающие материалы#artificial-intelligence#machine-learning#deep-learning
70,1 тыс.13,6 тыс.Jupyter NotebookMITОбновлён вчера

EvolvingLMMs-Lab / NEO

NEO — семейство нативных моделей для работы с изображениями и текстом, которые обрабатывают пиксели и слова в единой плотной архитектуре без энкодера, с кодом для обучения и оценки.

ИИ и машинное обучение#vision-language-model#multimodal#encoder-free
90733PythonApache-2.0Обновлён 3 месяца назад