Um LLM de vídeo treinado com transcrição de fala em streaming que gera comentários em tempo real sobre vídeos ao vivo, apresentado no artigo LiveCC da CVPR 2025.
48259PythonSem licençaAtualizado há 12 meses
VicenteVivan/geo-clip
Implementação em PyTorch do GeoCLIP, um modelo no estilo CLIP que alinha imagens a coordenadas GPS para geolocalização global de imagens.
- Estrelas
- 413
- Forks
- 52
- Issues abertas
- 9
- Último commit
- há 15 dias
O que é?
O GeoCLIP estima onde no mundo uma foto foi tirada. Ele treina de forma contrastiva um encoder de imagens e um encoder de localização usando pares de imagem e GPS, da mesma forma que o CLIP da OpenAI alinha imagens a textos. O modelo é treinado no dataset MP-16, com cerca de 4,7 milhões de imagens georreferenciadas.
O encoder de localização trata a Terra como uma função contínua, então também pode ser usado sozinho como um encoder GPS pré-treinado que gera embeddings de 512 dimensões para coordenadas. O README relata seu uso para melhorar a classificação multiclasse no dataset Geo-Tagged NUS-Wide quando combinado com atributos visuais.
O projeto pode ser instalado via pip como o pacote `geoclip`. Sua API oferece uma classe `GeoCLIP`, cujo método `predict` retorna os principais candidatos de coordenadas GPS com suas probabilidades para uma imagem, e uma classe `LocationEncoder` para gerar embeddings de coordenadas.
Recursos principais
- 01Prevê as coordenadas GPS mais prováveis para uma imagem de entrada, com suas probabilidades.
- 02Oferece um encoder de localização pré-treinado e independente, que gera embeddings de pares de latitude e longitude.
- 03Treinado de forma contrastiva no dataset MP-16, com cerca de 4,7 milhões de imagens georreferenciadas.
- 04Instalável via pip ou a partir do código-fonte.
Casos de uso
- Estimar a localização provável de fotos sem metadados de GPS.
- Usar embeddings de GPS como atributos adicionais em modelos de classificação com informações geográficas.
- Pesquisar geolocalização global de imagens ou aprendizado de representações de localização.
Início rápido
- 1
Instale o pacote pelo PyPI
pip install geoclip - 2
Carregue o modelo e preveja as coordenadas GPS de uma imagem
Antes de usar
- O README não informa os requisitos de hardware, então não está claro se é necessária uma GPU.
Em coleções
Tópicos
Perguntas frequentes
- O que é geo-clip?
- Implementação em PyTorch do GeoCLIP, um modelo no estilo CLIP que alinha imagens a coordenadas GPS para geolocalização global de imagens. O GeoCLIP estima onde no mundo uma foto foi tirada. Ele treina de forma contrastiva um encoder de imagens e um encoder de localização usando pares de imagem e GPS, da mesma forma que o CLIP da OpenAI alinha imagens a textos. O modelo é treinado no dataset MP-16, com cerca de 4,7 milhões de imagens georreferenciadas.
- geo-clip é gratuito? Qual é a licença?
- geo-clip é open source sob a licença MIT. Confira os termos da licença antes de usá-lo em produtos comerciais.
- geo-clip ainda é mantido?
- Manutenção ativa. O último commit de geo-clip foi em 7 de out. de 2026.
- Para que posso usar geo-clip?
- Estimar a localização provável de fotos sem metadados de GPS. Usar embeddings de GPS como atributos adicionais em modelos de classificação com informações geográficas. Pesquisar geolocalização global de imagens ou aprendizado de representações de localização.
- Como instalar geo-clip?
- Instale o pacote pelo PyPI: pip install geoclip Carregue o modelo e preveja as coordenadas GPS de uma imagem
- Onde consigo geo-clip?
- O código-fonte e as instruções de instalação estão no GitHub: https://github.com/VicenteVivan/geo-clip
Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Projetos relacionados
Currículo introdutório de IA da Microsoft, com 24 aulas ao longo de 12 semanas sobre IA simbólica, redes neurais, visão computacional, NLP e ética, incluindo notebooks em PyTorch e TensorFlow.
Recursos de aprendizado#artificial-intelligence#machine-learning#deep-learning#neural-networks#computer-vision
70,1 mil13,6 milJupyter NotebookMITAtualizado ontem
Uma lista selecionada de bibliotecas, modelos, implementações, tutoriais e artigos relacionados ao PyTorch no GitHub.
16,7 mil2,8 milSem licençaAtualizado mês passado
Código de avaliação e referências aos dados dos benchmarks MMMU e MMMU-Pro, que testam modelos multimodais com questões universitárias de várias disciplinas.
IA e Machine Learning#multimodal#benchmark#evaluation#large-multimodal-models#visual-question-answering
59856PythonApache-2.0Atualizado há 3 meses
NEO é uma família de modelos nativos de visão e linguagem que processam pixels e palavras em uma única arquitetura densa sem encoder, com código de treinamento e avaliação.
90733PythonApache-2.0Atualizado há 3 meses
Biblioteca open source de visão computacional, com algoritmos de processamento de imagens e visão computacional em C++ e bindings para várias linguagens.
91,3 mil57,1 milC++Apache-2.0Atualizado há 5 horas