CVPR 2025 LiveCC 논문의 실시간 영상 해설을 생성하는 스트리밍 음성 전사 기반 학습 비디오 LLM입니다.
VicenteVivan/geo-clip
이미지와 GPS 좌표를 정렬해 전 세계 사진의 위치를 추정하는 CLIP 스타일 모델 GeoCLIP의 PyTorch 구현입니다.
- 스타
- 413
- 포크
- 52
- 열린 이슈
- 9
- 마지막 커밋
- 15일 전
어떤 프로젝트인가요?
GeoCLIP은 사진을 찍은 위치를 전 세계 어디인지 추정합니다. OpenAI의 CLIP이 이미지와 텍스트를 정렬하는 방식처럼, 이미지 인코더와 위치 인코더를 이미지-GPS 쌍으로 대조 학습합니다. 약 470만 장의 위치 태그가 지정된 이미지로 구성된 MP-16 데이터셋을 사용해 학습했습니다.
위치 인코더는 지구를 연속 함수로 다루므로, 사전 학습된 GPS 인코더로 단독 사용해 좌표를 512차원 임베딩으로 변환할 수도 있습니다. README에 따르면 시각적 특징과 결합해 Geo-Tagged NUS-Wide 데이터셋의 다중 클래스 분류 성능을 높이는 데 활용할 수 있습니다.
이 프로젝트는 `geoclip` 패키지로 pip 설치할 수 있습니다. API에는 이미지에 대해 확률과 함께 상위 k개의 GPS 후보를 반환하는 `predict` 메서드를 제공하는 `GeoCLIP` 클래스와 좌표를 임베딩하는 `LocationEncoder` 클래스가 있습니다.
핵심 기능
- 01입력 이미지에 대해 확률과 함께 상위 k개의 GPS 좌표를 예측합니다.
- 02위도·경도 쌍을 임베딩하는 독립형 사전 학습 위치 인코더를 제공합니다.
- 03약 470만 장의 위치 태그가 지정된 이미지로 구성된 MP-16 데이터셋을 사용해 대조 학습했습니다.
- 04pip 또는 소스 코드에서 설치할 수 있습니다.
활용 사례
- GPS 메타데이터가 없는 사진의 촬영 위치를 추정합니다.
- 위치를 고려하는 분류 모델에 GPS 임베딩을 추가 특징으로 사용합니다.
- 전 세계 이미지 위치 추정이나 위치 표현 학습을 연구합니다.
빠른 시작
- 1
PyPI에서 패키지를 설치합니다
pip install geoclip - 2
모델을 로드하고 이미지의 GPS 좌표를 예측합니다
사용 전 알아둘 점
- README에 하드웨어 요구 사항이 명시되어 있지 않아 GPU가 필요한지 불분명합니다.
포함된 컬렉션
토픽
자주 묻는 질문
- geo-clip은(는) 무엇인가요?
- 이미지와 GPS 좌표를 정렬해 전 세계 사진의 위치를 추정하는 CLIP 스타일 모델 GeoCLIP의 PyTorch 구현입니다. GeoCLIP은 사진을 찍은 위치를 전 세계 어디인지 추정합니다. OpenAI의 CLIP이 이미지와 텍스트를 정렬하는 방식처럼, 이미지 인코더와 위치 인코더를 이미지-GPS 쌍으로 대조 학습합니다. 약 470만 장의 위치 태그가 지정된 이미지로 구성된 MP-16 데이터셋을 사용해 학습했습니다.
- geo-clip은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
- geo-clip은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
- geo-clip은(는) 아직 유지보수되고 있나요?
- 활발히 유지보수 중. geo-clip의 마지막 커밋은 2026년 10월 7일입니다.
- geo-clip은(는) 어디에 사용할 수 있나요?
- GPS 메타데이터가 없는 사진의 촬영 위치를 추정합니다. 위치를 고려하는 분류 모델에 GPS 임베딩을 추가 특징으로 사용합니다. 전 세계 이미지 위치 추정이나 위치 표현 학습을 연구합니다.
- geo-clip는 어떻게 설치하나요?
- PyPI에서 패키지를 설치합니다: pip install geoclip 모델을 로드하고 이미지의 GPS 좌표를 예측합니다
- geo-clip은(는) 어디서 받을 수 있나요?
- 소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/VicenteVivan/geo-clip
요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.
관련 프로젝트
Microsoft가 제공하는 12주 24강 초급 AI 커리큘럼으로, 기호 AI, 신경망, 컴퓨터 비전, NLP, 윤리를 다루며 PyTorch와 TensorFlow 노트북을 제공합니다.
GitHub의 PyTorch 관련 라이브러리, 모델, 구현체, 튜토리얼과 논문을 모아 분류한 큐레이션 목록입니다.
대학 수준의 여러 학문 분야 질문으로 멀티모달 모델을 평가하는 MMMU 및 MMMU-Pro 벤치마크의 평가 코드와 데이터 안내입니다.
NEO는 픽셀과 단어를 하나의 인코더 없는 dense 아키텍처로 처리하는 네이티브 VLM 제품군입니다.
OpenCV는 여러 언어 바인딩을 제공하는 이미지 처리 및 컴퓨터 비전 알고리즘용 C++ 라이브러리입니다.