商汤 SenseNova 开源的原生统一多模态模型，在同一架构中完成图像理解、文生图与图像编辑。
6911532PythonApache-2.0更新于 19天前
ZJUI-AI4H/Hulu-Med
一个开源医疗视觉-语言模型，可处理医学文本、2D图像、3D体数据和手术视频，训练数据全部公开。
- Star
- 878
- Fork
- 34
- 未关闭 Issue
- 23
- 最近提交
- 2个月前
这是什么？
Hulu-Med 是浙江大学 AI4H 团队开发的医疗视觉-语言模型，可在同一模型内处理医学文本、2D 图像、NIfTI 格式的 3D CT/MRI 体数据以及包括手术视频在内的视频内容。模型提供 4B 到 235B 多个参数规模，语言部分基于 Qwen 系列，视觉编码器采用 SigLIP。
项目强调开放透明，数据整理、训练代码和模型权重均公开，训练数据基于公开来源。模型可通过 Hugging Face 和 ModelScope 获取，既能用 Transformers 库加载，也支持自定义加载方式，并提供 vLLM 适配以支持张量并行和更快的推理。
仓库提供单图、多图、图文交错、3D 和视频输入的示例代码，并支持可选的思考模式以输出推理过程。项目还关联了用于评测医疗视觉-语言模型的 MedUniEval 工具。
核心功能
- 01单一模型处理医学文本、2D 图像、NIfTI 3D 体数据和视频
- 02提供 4B 到 235B 多种参数规模
- 03可通过 Hugging Face Transformers 加载
- 04支持 vLLM 与张量并行，提升推理速度
- 05可选思考模式，输出模型的推理过程
适用场景
- 基于 2D 或 3D 影像生成医学报告初稿
- 回答关于病理切片或影像的视觉问题
- 分析手术视频以识别手术阶段
- 医疗多模态模型的科研评测
标签
常见问题
- Hulu-Med 是什么？
- 一个开源医疗视觉-语言模型，可处理医学文本、2D图像、3D体数据和手术视频，训练数据全部公开。 Hulu-Med 是浙江大学 AI4H 团队开发的医疗视觉-语言模型，可在同一模型内处理医学文本、2D 图像、NIfTI 格式的 3D CT/MRI 体数据以及包括手术视频在内的视频内容。模型提供 4B 到 235B 多个参数规模，语言部分基于 Qwen 系列，视觉编码器采用 SigLIP。
- Hulu-Med 可以免费使用吗？用的什么许可证？
- Hulu-Med 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。
- Hulu-Med 还在维护吗？
- 半年内有更新。Hulu-Med 最近一次提交是在 2026年8月30日。
- Hulu-Med 适合用来做什么？
- 基于 2D 或 3D 影像生成医学报告初稿 回答关于病理切片或影像的视觉问题 分析手术视频以识别手术阶段 医疗多模态模型的科研评测
- 在哪里获取 Hulu-Med？
- 源代码和安装说明在 GitHub 上：https://github.com/ZJUI-AI4H/Hulu-Med
概要由 AI 根据项目 README 生成；GitHub 数据每日更新。
相关项目
一个 9B 参数的开源多模态大模型，面向视觉理解、空间推理、智能体工具调用和具身智能研究。
3076540PythonApache-2.0更新于 上个月
统一的大模型微调框架，支持 100 多种 LLM 与 VLM，提供零代码命令行和 Web 界面。
7.6万9275PythonApache-2.0更新于 21小时前
字节跳动开源的多模态 AI Agent 工具栈，包含 CLI 与 Web UI 版 Agent TARS 及桌面 GUI 智能体应用 UI-TARS Desktop。
3.9万3997TypeScriptApache-2.0更新于 12天前
开源多模态模型系列（MiniCPM-V 4.7 与 MiniCPM-o 4.5），可在本地与端侧设备上理解图像、视频、文档和语音。
2.7万2111PythonApache-2.0更新于 4天前
统一的语言模型少样本评测框架，覆盖大量标准学术基准测试。
1.4万3698PythonMIT更新于 上个月