NEO 是一系列原生视觉-语言模型,采用无编码器的统一稠密架构直接处理像素与文字。
jingyaogong/minimind-v
一个可在单张 GPU 上约两小时训练完成的超小开源视觉语言模型,参数量约 65M。
- Star
- 8,775
- Fork
- 983
- 未关闭 Issue
- 22
- 最近提交
- 30天前
这是什么?
MiniMind-V 是一个小型多模态模型,将视觉编码器与紧凑的语言模型结合,能够回答与图片相关的问题。项目用原生 PyTorch 提供完整流程,包括模型结构、数据集处理、Pretrain 与 SFT 训练,并附带推理脚本和 WebUI。
视觉部分采用冻结的 SigLIP2 编码器,再由一个小型 MLP Projector 把 64 个图像 patch 特征映射到语言模型的 token 空间。语言主干基于同系列的 MiniMind 文本模型初始化,微调时只更新 Projector 以及 LLM 的首尾层。已发布的版本包括 65M 稠密模型和混合专家(MoE)版本。
该仓库适合用来学习视觉语言模型的构建方式,支持多卡 DDP 训练、bfloat16 混合精度、断点续训,并可接入 wandb 或 SwanLab 记录训练过程。由于模型较小,生成结果中重复和细节错误较明显,更适合实验与教学,而非生产环境。
核心功能
- 01提供完整的 SFT 训练流程,单张 GPU 即可从头训练 65M 参数的视觉语言模型。
- 02使用冻结的 SigLIP2 视觉编码器,并通过 MLP Projector 将 64 个图像 token 映射到语言模型。
- 03同时提供稠密与混合专家(MoE)两种模型版本。
- 04包含 Parquet 格式图文数据集的处理脚本。
- 05支持多卡 DDP 训练、bfloat16 混合精度、断点续训以及 wandb 或 SwanLab 日志。
- 06附带命令行推理脚本和可上传图片对话的 WebUI。
适用场景
- 学习视觉语言模型如何由视觉编码器、Projector 和 LLM 组合而成。
- 在单张消费级 GPU 上进行小规模多模态训练实验。
- 基于简洁可读的代码快速验证图像问答原型。
- 以其为基础,将小型 VLM 适配到自定义图文数据集。
标签
常见问题
- minimind-v 是什么?
- 一个可在单张 GPU 上约两小时训练完成的超小开源视觉语言模型,参数量约 65M。 MiniMind-V 是一个小型多模态模型,将视觉编码器与紧凑的语言模型结合,能够回答与图片相关的问题。项目用原生 PyTorch 提供完整流程,包括模型结构、数据集处理、Pretrain 与 SFT 训练,并附带推理脚本和 WebUI。
- minimind-v 可以免费使用吗?用的什么许可证?
- minimind-v 以 Apache-2.0 许可证开源。用于商业产品前,请先确认许可证条款。
- minimind-v 还在维护吗?
- 活跃维护中。minimind-v 最近一次提交是在 2026年9月22日。
- minimind-v 适合用来做什么?
- 学习视觉语言模型如何由视觉编码器、Projector 和 LLM 组合而成。 在单张消费级 GPU 上进行小规模多模态训练实验。 基于简洁可读的代码快速验证图像问答原型。 以其为基础,将小型 VLM 适配到自定义图文数据集。
- 在哪里获取 minimind-v?
- 源代码和安装说明在 GitHub 上:https://github.com/jingyaogong/minimind-v
概要由 AI 根据项目 README 生成;GitHub 数据每日更新。
相关项目
面向多模态模型的统一训练引擎,支持 VLM、扩散模型和 LLM 训练。
基于 PyTorch 和 Triton 的开源大语言模型训练库,支持 3D 并行与 ZeRO 显存优化。
字节跳动开源的多模态 AI Agent 工具栈,包含 CLI 与 Web UI 版 Agent TARS 及桌面 GUI 智能体应用 UI-TARS Desktop。
开源多模态模型系列(MiniCPM-V 4.7 与 MiniCPM-o 4.5),可在本地与端侧设备上理解图像、视频、文档和语音。
NVIDIA 开源的世界基础模型、数据集与工具,用于构建机器人、自动驾驶等物理 AI 应用。