Repolode
jingyaogong

jingyaogong/minimind-v

一个可在单张 GPU 上约两小时训练完成的超小开源视觉语言模型,参数量约 65M。

Star
8,775
Fork
983
未关闭 Issue
22
最近提交
30天前

这是什么?

MiniMind-V 是一个小型多模态模型,将视觉编码器与紧凑的语言模型结合,能够回答与图片相关的问题。项目用原生 PyTorch 提供完整流程,包括模型结构、数据集处理、Pretrain 与 SFT 训练,并附带推理脚本和 WebUI。

视觉部分采用冻结的 SigLIP2 编码器,再由一个小型 MLP Projector 把 64 个图像 patch 特征映射到语言模型的 token 空间。语言主干基于同系列的 MiniMind 文本模型初始化,微调时只更新 Projector 以及 LLM 的首尾层。已发布的版本包括 65M 稠密模型和混合专家(MoE)版本。

该仓库适合用来学习视觉语言模型的构建方式,支持多卡 DDP 训练、bfloat16 混合精度、断点续训,并可接入 wandb 或 SwanLab 记录训练过程。由于模型较小,生成结果中重复和细节错误较明显,更适合实验与教学,而非生产环境。

核心功能

  • 01提供完整的 SFT 训练流程,单张 GPU 即可从头训练 65M 参数的视觉语言模型。
  • 02使用冻结的 SigLIP2 视觉编码器,并通过 MLP Projector 将 64 个图像 token 映射到语言模型。
  • 03同时提供稠密与混合专家(MoE)两种模型版本。
  • 04包含 Parquet 格式图文数据集的处理脚本。
  • 05支持多卡 DDP 训练、bfloat16 混合精度、断点续训以及 wandb 或 SwanLab 日志。
  • 06附带命令行推理脚本和可上传图片对话的 WebUI。

适用场景

  • 学习视觉语言模型如何由视觉编码器、Projector 和 LLM 组合而成。
  • 在单张消费级 GPU 上进行小规模多模态训练实验。
  • 基于简洁可读的代码快速验证图像问答原型。
  • 以其为基础,将小型 VLM 适配到自定义图文数据集。

标签

常见问题

minimind-v 是什么?
一个可在单张 GPU 上约两小时训练完成的超小开源视觉语言模型,参数量约 65M。 MiniMind-V 是一个小型多模态模型,将视觉编码器与紧凑的语言模型结合,能够回答与图片相关的问题。项目用原生 PyTorch 提供完整流程,包括模型结构、数据集处理、Pretrain 与 SFT 训练,并附带推理脚本和 WebUI。
minimind-v 可以免费使用吗?用的什么许可证?
minimind-v 以 Apache-2.0 许可证开源。用于商业产品前,请先确认许可证条款。
minimind-v 还在维护吗?
活跃维护中。minimind-v 最近一次提交是在 2026年9月22日。
minimind-v 适合用来做什么?
学习视觉语言模型如何由视觉编码器、Projector 和 LLM 组合而成。 在单张消费级 GPU 上进行小规模多模态训练实验。 基于简洁可读的代码快速验证图像问答原型。 以其为基础,将小型 VLM 适配到自定义图文数据集。
在哪里获取 minimind-v?
源代码和安装说明在 GitHub 上:https://github.com/jingyaogong/minimind-v

概要由 AI 根据项目 README 生成;GitHub 数据每日更新。

相关项目