ZJU4HealthCare/HealthGPT

这是什么？

核心功能

• 01单一模型同时理解医学文本、2D 图像与 3D 体数据（HealthGPT-Pro）。
• 02覆盖 CT、MRI、眼底、皮肤镜、病理等 14 类医学模态。
• 03通过异构低秩适配（H-LoRA）统一医学图像理解与生成。
• 04在 Hugging Face 与 ModelScope 提供 4B、8B、27B 等规格的模型权重。
• 05附带 VL-Health 数据集及医学问答、视觉问答的基准对比结果。

适用场景

• 研究结合影像分析与医学文本理解的视觉语言模型。
• 在 VQA-RAD、SLAKE、PathVQA 等基准上评测医学多模态大模型。
• 在科研环境中构建覆盖文本与影像的医学问答原型。
• 探索医学影像中基于参数高效适配器的统一理解与生成方法。

快速上手

1. 1

   打开 HealthGPT-Pro 的 README 查看安装和推理说明

2. 2

   或打开 HealthGPT 的 README 查看其安装和推理步骤

使用前须知

• !安装和推理说明位于子仓库的 README 中，而非本顶层 README。
• !HealthGPT-Pro 版本最大达 270 亿参数，意味着需要较高的硬件配置。

标签

常见问题

HealthGPT 是什么？

医疗多模态大模型系列，包含面向医学文本、2D 图像与 3D 体数据理解的 HealthGPT-Pro，以及统一理解与生成的 HealthGPT。 HealthGPT 系列是一组医疗多模态大语言模型，由两个子项目组成。基于 Qwen3-VL 构建的 HealthGPT-Pro 面向医学理解与分析，可处理医学文本、CT、MRI、X 光、眼底、病理切片等 2D 图像以及 3D 医学体数据，提供 4B、8B、27B 等规格并已发布到 Hugging Face 和 ModelScope。

HealthGPT 可以免费使用吗？用的什么许可证？

HealthGPT 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。

HealthGPT 还在维护吗？

半年内有更新。HealthGPT 最近一次提交是在 2026年7月31日。

HealthGPT 适合用来做什么？

研究结合影像分析与医学文本理解的视觉语言模型。 在 VQA-RAD、SLAKE、PathVQA 等基准上评测医学多模态大模型。 在科研环境中构建覆盖文本与影像的医学问答原型。 探索医学影像中基于参数高效适配器的统一理解与生成方法。

HealthGPT 怎么安装和运行？

打开 HealthGPT-Pro 的 README 查看安装和推理说明 或打开 HealthGPT 的 README 查看其安装和推理步骤

在哪里获取 HealthGPT？

源代码和安装说明在 GitHub 上：https://github.com/ZJU4HealthCare/HealthGPT