Repolode
제출하기
ZJUI-AI4H

ZJUI-AI4H/Hulu-Med

공개 데이터로 학습한 오픈 의료 비전-언어 모델로, 의료 텍스트와 2D 이미지, 3D CT/MRI 볼륨, 수술 영상을 처리합니다.

GitHub에서 보기
스타
878
포크
34
열린 이슈
23
마지막 커밋
2개월 전

어떤 프로젝트인가요?

Hulu-Med는 ZJU-AI4H가 개발한 의료 비전-언어 모델로, 하나의 모델에서 의료 텍스트와 2D 이미지, NIfTI CT 및 MRI 스캔과 같은 3D 볼륨, 수술 영상을 포함한 동영상을 이해하도록 설계되었습니다. Qwen 계열 언어 백본과 SigLIP 기반 비전 인코더를 바탕으로 하며, 4B부터 235B까지 여러 크기로 공개되었습니다.

이 프로젝트는 개방성을 강조합니다. 저자들은 데이터 큐레이션, 학습 코드, 모델 가중치를 완전한 파이프라인으로 제공한다고 설명하며, 공개 데이터를 사용해 학습한다고 밝혔습니다. 모델은 Hugging Face와 ModelScope에서 이용할 수 있으며, trust_remote_code를 사용해 Transformers 라이브러리로 불러오거나 사용자 정의 로더 및 텐서 병렬 처리를 지원하는 vLLM 빌드로 실행해 추론 속도를 높일 수 있습니다.

저장소에는 단일 이미지, 여러 이미지, 인터리브 입력, 3D 입력, 동영상 입력을 처리하는 예제 코드와 모델의 추론 과정을 보여 주는 선택적 thinking 모드가 포함되어 있습니다. 또한 의료 비전-언어 모델의 벤치마킹을 위한 평가 툴킷 MedUniEval도 연결되어 있습니다.

핵심 기능

  • 01하나의 모델로 의료 텍스트, 2D 이미지, 3D NIfTI 볼륨, 동영상을 처리
  • 024B부터 235B까지 여러 파라미터 규모로 공개
  • 03trust_remote_code를 사용해 Hugging Face Transformers로 로드 가능
  • 04추론 속도를 높이는 텐서 병렬 처리 기반 vLLM 지원
  • 05모델의 추론 과정을 반환하는 선택적 thinking 모드

활용 사례

  • 2D 또는 3D 스캔을 바탕으로 의료 보고서 초안 생성
  • 병리 슬라이드나 방사선 영상에 관한 시각적 질문에 답변
  • 수술 영상을 분석해 수술 단계 인식
  • 의료 멀티모달 모델의 연구 및 벤치마킹

토픽

#medical-ai#vision-language-model#multimodal#healthcare#transformers#vllm#medical-imaging

자주 묻는 질문

Hulu-Med은(는) 무엇인가요?
공개 데이터로 학습한 오픈 의료 비전-언어 모델로, 의료 텍스트와 2D 이미지, 3D CT/MRI 볼륨, 수술 영상을 처리합니다. Hulu-Med는 ZJU-AI4H가 개발한 의료 비전-언어 모델로, 하나의 모델에서 의료 텍스트와 2D 이미지, NIfTI CT 및 MRI 스캔과 같은 3D 볼륨, 수술 영상을 포함한 동영상을 이해하도록 설계되었습니다. Qwen 계열 언어 백본과 SigLIP 기반 비전 인코더를 바탕으로 하며, 4B부터 235B까지 여러 크기로 공개되었습니다.
Hulu-Med은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
Hulu-Med은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
Hulu-Med은(는) 아직 유지보수되고 있나요?
6개월 이내 업데이트. Hulu-Med의 마지막 커밋은 2026년 8월 30일입니다.
Hulu-Med은(는) 어디에 사용할 수 있나요?
2D 또는 3D 스캔을 바탕으로 의료 보고서 초안 생성 병리 슬라이드나 방사선 영상에 관한 시각적 질문에 답변 수술 영상을 분석해 수술 단계 인식 의료 멀티모달 모델의 연구 및 벤치마킹
Hulu-Med은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/ZJUI-AI4H/Hulu-Med

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트