Repolode
ZJU4HealthCare

ZJU4HealthCare/HealthGPT

의료용 멀티모달 대규모 언어 모델 제품군으로, 의료 텍스트·2D 이미지·3D 볼륨을 이해하는 HealthGPT-Pro와 통합 이해 및 생성을 지원하는 HealthGPT를 제공합니다.

스타
1,660
포크
242
열린 이슈
13
마지막 커밋
3개월 전

어떤 프로젝트인가요?

HealthGPT Series는 두 개의 하위 프로젝트로 구성된 의료용 멀티모달 대규모 언어 모델 제품군입니다. Qwen3-VL을 기반으로 한 HealthGPT-Pro는 의료 텍스트와 CT, MRI, X-ray, 안저, 조직병리 이미지 등의 2D 이미지, 3D 의료 볼륨을 폭넓게 이해하고 분석하는 데 초점을 둡니다. Hugging Face와 ModelScope에서 4B, 8B, 27B 크기로 공개되어 있습니다.

HealthGPT는 시리즈에서 의료 정보의 이해와 생성을 통합한 모델입니다. 이기종 저랭크 적응(H-LoRA)과 3단계 학습 전략을 적용해 사전 학습된 LLM이 시각 정보 이해와 생성 지시를 모두 따르도록 합니다. 이 프로젝트는 ICML 2025 Spotlight 논문으로 채택되었습니다.

저장소에는 모델 가중치, 데이터셋(VL-Health), 그리고 의료 QA 및 비전-언어 작업에서 Lingshu, Hulu-Med 등의 모델과 비교한 벤치마크 결과가 포함되어 있습니다. 설정 및 추론 방법은 각 하위 프로젝트 디렉터리에서 확인할 수 있습니다.

핵심 기능

  • 01HealthGPT-Pro 하나의 모델로 의료 텍스트, 2D 이미지, 3D 볼륨을 이해합니다.
  • 02CT, MRI, 안저, 피부경 검사, 조직병리 등을 포함한 14가지 의료 모달리티를 지원합니다.
  • 03이기종 저랭크 적응(H-LoRA)을 통해 이해와 생성을 통합합니다.
  • 04Hugging Face와 ModelScope에서 4B, 8B, 27B 크기의 가중치를 공개합니다.
  • 05VL-Health 데이터셋과 의료 QA 및 VQA 작업의 벤치마크 비교 결과를 포함합니다.

활용 사례

  • 판독문 이해와 이미지 분석을 결합하는 의료 비전-언어 모델을 연구할 때.
  • VQA-RAD, SLAKE, PathVQA 등의 벤치마크로 의료 멀티모달 LLM을 평가할 때.
  • 연구 환경에서 텍스트 및 영상 데이터를 활용한 의료 질의응답 도구를 개발할 때.
  • 의료 영상 분야에서 파라미터 효율적인 어댑터를 활용한 통합 이해 및 생성을 연구할 때.

빠른 시작

  1. 1

    설정 및 추론에 관한 자세한 내용은 HealthGPT-Pro README를 여세요

  2. 2

    또는 HealthGPT README를 열어 설정 및 추론 단계를 확인하세요

사용 전 알아둘 점

  • 설정 및 추론 안내는 최상위 README가 아니라 하위 저장소의 README에 있습니다.
  • HealthGPT-Pro 변형은 최대 27B 파라미터로, 상당한 하드웨어 사양이 필요합니다.

토픽

자주 묻는 질문

HealthGPT은(는) 무엇인가요?
의료용 멀티모달 대규모 언어 모델 제품군으로, 의료 텍스트·2D 이미지·3D 볼륨을 이해하는 HealthGPT-Pro와 통합 이해 및 생성을 지원하는 HealthGPT를 제공합니다. HealthGPT Series는 두 개의 하위 프로젝트로 구성된 의료용 멀티모달 대규모 언어 모델 제품군입니다. Qwen3-VL을 기반으로 한 HealthGPT-Pro는 의료 텍스트와 CT, MRI, X-ray, 안저, 조직병리 이미지 등의 2D 이미지, 3D 의료 볼륨을 폭넓게 이해하고 분석하는 데 초점을 둡니다. Hugging Face와 ModelScope에서 4B, 8B, 27B 크기로 공개되어 있습니다.
HealthGPT은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
HealthGPT은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
HealthGPT은(는) 아직 유지보수되고 있나요?
6개월 이내 업데이트. HealthGPT의 마지막 커밋은 2026년 7월 31일입니다.
HealthGPT은(는) 어디에 사용할 수 있나요?
판독문 이해와 이미지 분석을 결합하는 의료 비전-언어 모델을 연구할 때. VQA-RAD, SLAKE, PathVQA 등의 벤치마크로 의료 멀티모달 LLM을 평가할 때. 연구 환경에서 텍스트 및 영상 데이터를 활용한 의료 질의응답 도구를 개발할 때. 의료 영상 분야에서 파라미터 효율적인 어댑터를 활용한 통합 이해 및 생성을 연구할 때.
HealthGPT는 어떻게 설치하나요?
설정 및 추론에 관한 자세한 내용은 HealthGPT-Pro README를 여세요 또는 HealthGPT README를 열어 설정 및 추론 단계를 확인하세요
HealthGPT은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/ZJU4HealthCare/HealthGPT

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트