ZJU4HealthCare/HealthGPT

Что это?

Ключевые возможности

• 01Понимание медицинских текстов, 2D-изображений и 3D-объёмов в одной модели (HealthGPT-Pro).
• 02Поддержка 14 медицинских модальностей, включая КТ, МРТ, изображения глазного дна, дерматоскопию и гистопатологию.
• 03Объединение понимания и генерации с помощью гетерогенной низкоранговой адаптации (H-LoRA).
• 04Веса моделей размером 4B, 8B и 27B доступны на Hugging Face и ModelScope.
• 05Включает датасет VL-Health и результаты сравнения в задачах медицинских вопросов и ответов и VQA.

Сценарии использования

• Исследование медицинских vision-language-моделей, сочетающих понимание заключений с анализом изображений.
• Оценка медицинских мультимодальных LLM на бенчмарках, таких как VQA-RAD, SLAKE и PathVQA.
• Создание исследовательских инструментов для ответов на медицинские вопросы по текстовым данным и медицинским изображениям.
• Изучение объединённого понимания и генерации с помощью параметрически эффективных адаптеров для медицинской визуализации.

Быстрый старт

1. 1

   Откройте README HealthGPT-Pro, чтобы узнать подробности настройки и инференса

2. 2

   Или откройте README HealthGPT, чтобы ознакомиться с этапами настройки и инференса

Что важно знать

• !Инструкции по настройке и инференсу находятся в README вложенных репозиториев, а не в этом README верхнего уровня.
• !Число параметров вариантов HealthGPT-Pro достигает 27B, что предполагает высокие требования к оборудованию.

Темы

Частые вопросы

Что такое HealthGPT?

Семейство медицинских мультимодальных больших языковых моделей: HealthGPT-Pro понимает медицинские тексты, 2D-изображения и 3D-объёмы, а HealthGPT объединяет понимание и генерацию. HealthGPT Series — семейство медицинских мультимодальных больших языковых моделей, состоящее из двух подпроектов. HealthGPT-Pro, построенная на базе Qwen3-VL, предназначена для понимания и анализа медицинских текстов, 2D-изображений — например, КТ, МРТ, рентгеновских снимков, изображений глазного дна и гистопатологических препаратов — и 3D-медицинских объёмов. Модель выпущена в размерах 4B, 8B и 27B на Hugging Face и ModelScope.

HealthGPT можно использовать бесплатно? Какая у него лицензия?

HealthGPT распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.

HealthGPT всё ещё поддерживается?

Обновлялся за последние 6 месяцев. Последний коммит в HealthGPT — 31 июл. 2026 г..

Для чего можно использовать HealthGPT?

Исследование медицинских vision-language-моделей, сочетающих понимание заключений с анализом изображений. Оценка медицинских мультимодальных LLM на бенчмарках, таких как VQA-RAD, SLAKE и PathVQA. Создание исследовательских инструментов для ответов на медицинские вопросы по текстовым данным и медицинским изображениям. Изучение объединённого понимания и генерации с помощью параметрически эффективных адаптеров для медицинской визуализации.

Как установить HealthGPT?

Откройте README HealthGPT-Pro, чтобы узнать подробности настройки и инференса Или откройте README HealthGPT, чтобы ознакомиться с этапами настройки и инференса

Где скачать HealthGPT?

Исходный код и инструкции по установке — на GitHub: https://github.com/ZJU4HealthCare/HealthGPT