Un LLM de video entrenado con transcripciones de voz en streaming que genera comentarios en tiempo real sobre videos en vivo, presentado en el artículo LiveCC de CVPR 2025.
48259PythonSin licenciaActualizado hace 12 meses
VicenteVivan/geo-clip
Implementación en PyTorch de GeoCLIP, un modelo al estilo CLIP que alinea imágenes con coordenadas GPS para geolocalizar imágenes en todo el mundo.
- Estrellas
- 413
- Forks
- 52
- Issues abiertos
- 9
- Último commit
- hace 15 días
¿Qué es?
GeoCLIP estima dónde se tomó una foto. Entrena de forma contrastiva un codificador de imágenes y otro de ubicaciones con pares de imagen y GPS, de manera similar a como CLIP de OpenAI alinea imágenes con texto. El modelo se entrena con el conjunto de datos MP-16, que contiene aproximadamente 4,7 millones de imágenes georreferenciadas.
El codificador de ubicaciones trata la Tierra como una función continua, por lo que también puede usarse por sí solo como codificador GPS preentrenado que genera embeddings de 512 dimensiones para coordenadas. El README informa de su uso para mejorar la clasificación multiclase en el conjunto de datos Geo-Tagged NUS-Wide al combinarlo con características visuales.
El proyecto se puede instalar con pip como el paquete `geoclip`. Su API ofrece una clase `GeoCLIP`, cuyo método `predict` devuelve las coordenadas GPS candidatas más probables (top-k) y sus probabilidades para una imagen, y una clase `LocationEncoder` para generar embeddings de coordenadas.
Funciones clave
- 01Predice las coordenadas GPS más probables (top-k) y sus probabilidades a partir de una imagen de entrada.
- 02Ofrece un codificador de ubicaciones preentrenado e independiente que genera embeddings de pares de latitud y longitud.
- 03Entrenado de forma contrastiva con el conjunto de datos MP-16, que contiene aproximadamente 4,7 millones de imágenes georreferenciadas.
- 04Se puede instalar con pip o desde el código fuente.
Casos de uso
- Estimar la ubicación probable de fotos que no tienen metadatos GPS.
- Usar embeddings GPS como características adicionales en modelos de clasificación que tienen en cuenta la ubicación geográfica.
- Investigar la geolocalización de imágenes en todo el mundo o el aprendizaje de representaciones de ubicaciones.
Inicio rápido
- 1
Instala el paquete desde PyPI
pip install geoclip - 2
Carga el modelo y predice las coordenadas GPS de una imagen
Antes de usarlo
- El README no indica los requisitos de hardware, por lo que no queda claro si se necesita una GPU.
En colecciones
Temas
Preguntas frecuentes
- ¿Qué es geo-clip?
- Implementación en PyTorch de GeoCLIP, un modelo al estilo CLIP que alinea imágenes con coordenadas GPS para geolocalizar imágenes en todo el mundo. GeoCLIP estima dónde se tomó una foto. Entrena de forma contrastiva un codificador de imágenes y otro de ubicaciones con pares de imagen y GPS, de manera similar a como CLIP de OpenAI alinea imágenes con texto. El modelo se entrena con el conjunto de datos MP-16, que contiene aproximadamente 4,7 millones de imágenes georreferenciadas.
- ¿geo-clip es gratuito? ¿Qué licencia tiene?
- geo-clip es open source bajo la licencia MIT. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿geo-clip sigue mantenido?
- Mantenimiento activo. El último commit de geo-clip fue el 7 oct 2026.
- ¿Para qué puedo usar geo-clip?
- Estimar la ubicación probable de fotos que no tienen metadatos GPS. Usar embeddings GPS como características adicionales en modelos de clasificación que tienen en cuenta la ubicación geográfica. Investigar la geolocalización de imágenes en todo el mundo o el aprendizaje de representaciones de ubicaciones.
- ¿Cómo se instala geo-clip?
- Instala el paquete desde PyPI: pip install geoclip Carga el modelo y predice las coordenadas GPS de una imagen
- ¿Dónde consigo geo-clip?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/VicenteVivan/geo-clip
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Un plan de estudios de IA para principiantes de Microsoft, de 12 semanas y 24 lecciones, que abarca IA simbólica, redes neuronales, visión por computadora, NLP y ética, con notebooks en PyTorch y TensorFlow.
Recursos de aprendizaje#artificial-intelligence#machine-learning#deep-learning#neural-networks#computer-vision
70,1 mil13,6 milJupyter NotebookMITActualizado hace 22 horas
Una lista seleccionada de bibliotecas, modelos, implementaciones, tutoriales y artículos relacionados con PyTorch en GitHub.
16,7 mil2,8 milSin licenciaActualizado el mes pasado
Código de evaluación y referencias a los datos de los benchmarks MMMU y MMMU-Pro, que evalúan modelos multimodales con preguntas universitarias de distintas disciplinas.
IA y Machine Learning#multimodal#benchmark#evaluation#large-multimodal-models#visual-question-answering
59856PythonApache-2.0Actualizado hace 3 meses
NEO es una familia de modelos nativos de visión y lenguaje que procesan píxeles y palabras en una arquitectura densa sin encoder, e incluye código de entrenamiento y evaluación.
90733PythonApache-2.0Actualizado hace 3 meses
Open Source Computer Vision Library: biblioteca de C++ de procesamiento de imágenes y algoritmos de visión artificial, con bindings para varios lenguajes.
91,3 mil57,1 milC++Apache-2.0Actualizado hace 3 horas