统一的大模型微调框架,支持 100 多种 LLM 与 VLM,提供零代码命令行和 Web 界面。
- Star
- 26,892
- Fork
- 2,111
- 未关闭 Issue
- 64
- 最近提交
- 4天前
这是什么?
MiniCPM-V 与 MiniCPM-o 是由清华大学 THUNLP 与面壁智能(ModelBest)开源的多模态大模型系列。MiniCPM-V 4.7 支持图像、多图、文档和视频理解,提供 35B-A3B 混合专家(MoE)和 1B 两个版本。MiniCPM-o 4.5 是 9B 的端到端全模态模型,能在接收视频和音频流的同时生成语音和文本,支持实时全双工对话。
项目重点在于让模型在本地设备和手机上运行。它介绍了基于 SSD 存储专家权重的端侧 MoE 推理方法,并采用 Lookahead Expert Scheduling 进行加速。模型提供 BF16、FP8、int4、AWQ、GPTQ 和 GGUF 等权重格式,适配 iOS、Android、鸿蒙,以及 Intel、AMD、Arm、Rockchip、后摩等芯片平台。
模型权重发布在 Hugging Face 和 ModelScope 上,也可通过 Ollama 和 API 使用。仓库还包含微调指南,并提供自回放微调(SRFT)方法,用于低成本扩展能力并减少原有能力遗忘。
核心功能
- 01MiniCPM-V 4.7 支持图像、多图、文档和视频理解。
- 02MiniCPM-o 4.5 支持全双工实时语音与视频交互。
- 03提供 35B-A3B 混合专家与 1B 两个版本,并针对端侧推理做了优化。
- 04提供 int4、FP8、AWQ、GPTQ、GGUF 等量化权重。
- 05支持 iOS、Android、鸿蒙,以及 Intel、AMD、Arm、Rockchip 等芯片平台。
- 06可通过 Hugging Face、ModelScope、Ollama 和 API 获取与调用。
适用场景
- 在手机或笔记本上本地运行视觉语言模型,无需把数据发送到云端。
- 为本地应用加入文档或图像问答功能。
- 构建可边看视频边语音交流的实时助手。
- 对多模态模型进行微调,扩展新能力并减少原有能力遗忘。
快速上手
- 1
从 Hugging Face、ModelScope 或 Ollama 获取模型权重(见模型权重表中的链接)
- 2
阅读 README 中的快速开始部分以了解运行方法
使用前须知
- 35B-A3B 版本体积较大,需要大量内存,端侧运行还依赖 SSD 专家权重卸载。
- README 摘录中没有直接的包安装命令,因此部署需要参考链接的模型页面和文档。
标签
常见问题
- MiniCPM-V 是什么?
- 开源多模态模型系列(MiniCPM-V 4.7 与 MiniCPM-o 4.5),可在本地与端侧设备上理解图像、视频、文档和语音。 MiniCPM-V 与 MiniCPM-o 是由清华大学 THUNLP 与面壁智能(ModelBest)开源的多模态大模型系列。MiniCPM-V 4.7 支持图像、多图、文档和视频理解,提供 35B-A3B 混合专家(MoE)和 1B 两个版本。MiniCPM-o 4.5 是 9B 的端到端全模态模型,能在接收视频和音频流的同时生成语音和文本,支持实时全双工对话。
- MiniCPM-V 可以免费使用吗?用的什么许可证?
- MiniCPM-V 以 Apache-2.0 许可证开源。用于商业产品前,请先确认许可证条款。
- MiniCPM-V 还在维护吗?
- 活跃维护中。MiniCPM-V 最近一次提交是在 2026年10月16日。
- MiniCPM-V 适合用来做什么?
- 在手机或笔记本上本地运行视觉语言模型,无需把数据发送到云端。 为本地应用加入文档或图像问答功能。 构建可边看视频边语音交流的实时助手。 对多模态模型进行微调,扩展新能力并减少原有能力遗忘。
- MiniCPM-V 怎么安装和运行?
- 从 Hugging Face、ModelScope 或 Ollama 获取模型权重(见模型权重表中的链接) 阅读 README 中的快速开始部分以了解运行方法
- 在哪里获取 MiniCPM-V?
- 源代码和安装说明在 GitHub 上:https://github.com/OpenBMB/MiniCPM-V
概要由 AI 根据项目 README 生成;GitHub 数据每日更新。
相关项目
Google AI Edge 推出的 Android 与 iOS 应用,可在手机上离线体验开源大模型和端侧生成式 AI 功能。
一个 9B 参数的开源多模态大模型,面向视觉理解、空间推理、智能体工具调用和具身智能研究。
NEO 是一系列原生视觉-语言模型,采用无编码器的统一稠密架构直接处理像素与文字。
面向多模态模型的统一训练引擎,支持 VLM、扩散模型和 LLM 训练。
面向金融任务的开源大语言模型,涵盖情感分析、股价预测与金融 NLP 基准测试。