Repolode
OpenBMB

OpenBMB/MiniCPM-V

开源多模态模型系列(MiniCPM-V 4.7 与 MiniCPM-o 4.5),可在本地与端侧设备上理解图像、视频、文档和语音。

可替代:GPT-4oGemini

Star
26,892
Fork
2,111
未关闭 Issue
64
最近提交
4天前

这是什么?

MiniCPM-V 与 MiniCPM-o 是由清华大学 THUNLP 与面壁智能(ModelBest)开源的多模态大模型系列。MiniCPM-V 4.7 支持图像、多图、文档和视频理解,提供 35B-A3B 混合专家(MoE)和 1B 两个版本。MiniCPM-o 4.5 是 9B 的端到端全模态模型,能在接收视频和音频流的同时生成语音和文本,支持实时全双工对话。

项目重点在于让模型在本地设备和手机上运行。它介绍了基于 SSD 存储专家权重的端侧 MoE 推理方法,并采用 Lookahead Expert Scheduling 进行加速。模型提供 BF16、FP8、int4、AWQ、GPTQ 和 GGUF 等权重格式,适配 iOS、Android、鸿蒙,以及 Intel、AMD、Arm、Rockchip、后摩等芯片平台。

模型权重发布在 Hugging Face 和 ModelScope 上,也可通过 Ollama 和 API 使用。仓库还包含微调指南,并提供自回放微调(SRFT)方法,用于低成本扩展能力并减少原有能力遗忘。

核心功能

  • 01MiniCPM-V 4.7 支持图像、多图、文档和视频理解。
  • 02MiniCPM-o 4.5 支持全双工实时语音与视频交互。
  • 03提供 35B-A3B 混合专家与 1B 两个版本,并针对端侧推理做了优化。
  • 04提供 int4、FP8、AWQ、GPTQ、GGUF 等量化权重。
  • 05支持 iOS、Android、鸿蒙,以及 Intel、AMD、Arm、Rockchip 等芯片平台。
  • 06可通过 Hugging Face、ModelScope、Ollama 和 API 获取与调用。

适用场景

  • 在手机或笔记本上本地运行视觉语言模型,无需把数据发送到云端。
  • 为本地应用加入文档或图像问答功能。
  • 构建可边看视频边语音交流的实时助手。
  • 对多模态模型进行微调,扩展新能力并减少原有能力遗忘。

快速上手

  1. 1

    从 Hugging Face、ModelScope 或 Ollama 获取模型权重(见模型权重表中的链接)

  2. 2

    阅读 README 中的快速开始部分以了解运行方法

使用前须知

  • 35B-A3B 版本体积较大,需要大量内存,端侧运行还依赖 SSD 专家权重卸载。
  • README 摘录中没有直接的包安装命令,因此部署需要参考链接的模型页面和文档。

标签

常见问题

MiniCPM-V 是什么?
开源多模态模型系列(MiniCPM-V 4.7 与 MiniCPM-o 4.5),可在本地与端侧设备上理解图像、视频、文档和语音。 MiniCPM-V 与 MiniCPM-o 是由清华大学 THUNLP 与面壁智能(ModelBest)开源的多模态大模型系列。MiniCPM-V 4.7 支持图像、多图、文档和视频理解,提供 35B-A3B 混合专家(MoE)和 1B 两个版本。MiniCPM-o 4.5 是 9B 的端到端全模态模型,能在接收视频和音频流的同时生成语音和文本,支持实时全双工对话。
MiniCPM-V 可以免费使用吗?用的什么许可证?
MiniCPM-V 以 Apache-2.0 许可证开源。用于商业产品前,请先确认许可证条款。
MiniCPM-V 还在维护吗?
活跃维护中。MiniCPM-V 最近一次提交是在 2026年10月16日。
MiniCPM-V 适合用来做什么?
在手机或笔记本上本地运行视觉语言模型,无需把数据发送到云端。 为本地应用加入文档或图像问答功能。 构建可边看视频边语音交流的实时助手。 对多模态模型进行微调,扩展新能力并减少原有能力遗忘。
MiniCPM-V 怎么安装和运行?
从 Hugging Face、ModelScope 或 Ollama 获取模型权重(见模型权重表中的链接) 阅读 README 中的快速开始部分以了解运行方法
在哪里获取 MiniCPM-V?
源代码和安装说明在 GitHub 上:https://github.com/OpenBMB/MiniCPM-V

概要由 AI 根据项目 README 生成;GitHub 数据每日更新。

相关项目