基于流式语音转写训练的视频大模型,可对视频进行实时解说,对应 CVPR 2025 论文 LiveCC。
48259Python无许可证更新于 12个月前
基于 PyTorch 的 GeoCLIP 实现,用类似 CLIP 的方式对齐图像与 GPS 坐标,用于全球图像地理定位。
GeoCLIP 用于判断一张照片拍摄于全球何处。它借鉴 OpenAI CLIP 的思路,对图像编码器与位置编码器进行对比学习,让图像与 GPS 坐标在同一向量空间中对齐。训练数据为包含约 470 万张带地理标签图像的 MP-16 数据集。
其中的位置编码器把地球视为连续函数,可以单独作为预训练的 GPS 编码器使用,将经纬度转换为 512 维向量。项目还可以与图像视觉特征拼接,用于地理感知的多类别分类任务。
项目可通过 pip 安装 `geoclip` 包。`GeoCLIP` 类的 `predict` 方法可以对单张图片返回概率最高的若干个 GPS 候选位置及其概率,`LocationEncoder` 类则用于坐标嵌入。
从 PyPI 安装软件包
pip install geoclip加载模型并预测图片的 GPS 坐标
概要由 AI 根据项目 README 生成;GitHub 数据每日更新。
基于流式语音转写训练的视频大模型,可对视频进行实时解说,对应 CVPR 2025 论文 LiveCC。
微软出品的 12 周 24 课初学者 AI 课程,涵盖符号 AI、神经网络、计算机视觉、NLP 和 AI 伦理,配有 PyTorch 与 TensorFlow 代码。
一份整理 PyTorch 相关开源项目、库、模型实现与教程的资源清单。
MMMU 与 MMMU-Pro 多学科多模态基准的评测代码,考察模型对大学水平图文问题的理解与推理。
NEO 是一系列原生视觉-语言模型,采用无编码器的统一稠密架构直接处理像素与文字。
开源计算机视觉库,提供图像处理与计算机视觉算法,支持多种语言调用。