开源多模态模型系列(MiniCPM-V 4.7 与 MiniCPM-o 4.5),可在本地与端侧设备上理解图像、视频、文档和语音。
- Star
- 3,076
- Fork
- 540
- 未关闭 Issue
- 3
- 最近提交
- 上个月
这是什么?
ZDTaichu5.0-9B 是一个多模态基础模型,可接收文本、单张或多张图片以及视频,并支持任意分辨率的视觉输入。它以 Qwen3.5-9B 作为语言骨干,搭配 C-RADIOv4-H 视觉编码器,适用于通用图像、文档、图表、示意图和 OCR 理解,也覆盖视觉数学、多视角空间推理、多步工具调用以及面向 VLA 和具身智能的空间感知与规划。
项目在 Hugging Face 和 ModelScope 上提供多个版本,包括 FP8、NVFP4 和 DSpark 变体。开发者可以通过 Transformers 加载模型(需开启 trust_remote_code),也可以使用项目适配的 vLLM 分支部署为兼容 OpenAI 接口的服务,支持图片和视频输入。服务端还可选开启推理内容输出和工具调用解析。
仓库中还介绍了一种基于熵门控的自适应循环推理机制,会在潜在空间为更难的 token 分配额外的推理步骤。模型权重采用 NVIDIA Open Model License 发布,并保留 Qwen3.5(Apache-2.0)等上游组件的许可声明。
核心功能
- 01支持文本、多张图片和视频输入,视觉输入分辨率不受限制。
- 02覆盖文档、图表、示意图和 OCR 理解,以及视觉数学题求解。
- 03面向多视角关联、3D 场景理解等空间推理任务。
- 04支持多步、多轮工具调用。
- 05提供 FP8、NVFP4、DSpark 等多个量化或变体版本。
- 06可通过 vLLM 分支部署为兼容 OpenAI 接口的服务,并提供 Docker 镜像。
适用场景
- 用视觉语言模型从文档、图表和示意图中提取信息。
- 构建结合图像理解与多步工具调用的智能体。
- 开展空间推理或具身智能感知与规划的研究。
- 将本地多模态模型部署为兼容 OpenAI 风格的聊天接口。
使用前须知
- 基准测试结果是作者在其声明的评测设置下报告的数字,此处未经独立验证。
- 所见的 README 内容只提供了模型下载链接,没有安装或运行命令,因此无法给出具体的上手步骤。
标签
常见问题
- ZDTaichu5.0-9B 是什么?
- 一个 9B 参数的开源多模态大模型,面向视觉理解、空间推理、智能体工具调用和具身智能研究。 ZDTaichu5.0-9B 是一个多模态基础模型,可接收文本、单张或多张图片以及视频,并支持任意分辨率的视觉输入。它以 Qwen3.5-9B 作为语言骨干,搭配 C-RADIOv4-H 视觉编码器,适用于通用图像、文档、图表、示意图和 OCR 理解,也覆盖视觉数学、多视角空间推理、多步工具调用以及面向 VLA 和具身智能的空间感知与规划。
- ZDTaichu5.0-9B 可以免费使用吗?用的什么许可证?
- ZDTaichu5.0-9B 以 Apache-2.0 许可证开源。用于商业产品前,请先确认许可证条款。
- ZDTaichu5.0-9B 还在维护吗?
- 半年内有更新。ZDTaichu5.0-9B 最近一次提交是在 2026年9月17日。
- ZDTaichu5.0-9B 适合用来做什么?
- 用视觉语言模型从文档、图表和示意图中提取信息。 构建结合图像理解与多步工具调用的智能体。 开展空间推理或具身智能感知与规划的研究。 将本地多模态模型部署为兼容 OpenAI 风格的聊天接口。
- 在哪里获取 ZDTaichu5.0-9B?
- 源代码和安装说明在 GitHub 上:https://github.com/Taichu-AI/ZDTaichu5.0-9B
概要由 AI 根据项目 README 生成;GitHub 数据每日更新。
相关项目
2.7万2111PythonApache-2.0更新于 4天前
OpenAI 发布的开放权重语言模型 gpt-oss-120b 与 gpt-oss-20b,附带参考推理、工具和客户端代码。
2万2179PythonApache-2.0更新于 8天前
NEO 是一系列原生视觉-语言模型,采用无编码器的统一稠密架构直接处理像素与文字。
90433PythonApache-2.0更新于 3个月前
一个开源医疗视觉-语言模型,可处理医学文本、2D图像、3D体数据和手术视频,训练数据全部公开。
87834PythonApache-2.0更新于 2个月前
面向多模态模型的统一训练引擎,支持 VLM、扩散模型和 LLM 训练。
83238Python无许可证更新于 前天
一个统一的多模态模型,通过文本和图像生成完成检测、OCR、分割、深度估计和多视图几何等视觉任务。
71742PythonApache-2.0更新于 2个月前