ZJU4HealthCare/HealthGPT

これは何？

主な機能

• 01医療テキスト、2D画像、3Dボリュームを1つのモデルで理解します（HealthGPT-Pro）。
• 02CT、MRI、眼底画像、ダーモスコピー、病理組織画像など、14種類の医療モダリティに対応します。
• 03異種低ランク適応（H-LoRA）により、理解と生成を統合します。
• 044B、8B、27Bのモデルの重みをHugging FaceとModelScopeで公開しています。
• 05VL-Healthデータセットと、医療QAおよびVQAタスクのベンチマーク比較を収録しています。

ユースケース

• レポートの理解と画像分析を組み合わせる医療視覚言語モデルの研究。
• VQA-RAD、SLAKE、PathVQAなどのベンチマークを使った医療マルチモーダルLLMの評価。
• 研究用途で、テキストと医用画像データを対象とする医療質問応答ツールの構築。
• 医用画像分野における、パラメータ効率の高いアダプターを使った理解と生成の統合に関する研究。

クイックスタート

1. 1

   セットアップと推論の詳細は、HealthGPT-Pro の README を開いて確認してください

2. 2

   または、HealthGPT の README を開いてセットアップと推論の手順を確認してください

使う前に知っておきたいこと

• !セットアップと推論の手順は、このトップレベルの README ではなく、サブリポジトリの README に記載されています。
• !HealthGPT-Pro の各バリアントは最大 27B パラメータで、相応のハードウェア要件が必要です。

トピック

よくある質問

HealthGPT とは？

医療向けマルチモーダル大規模言語モデルのファミリー。医療テキスト・2D画像・3Dボリュームを理解するHealthGPT-Proと、理解と生成を統合するHealthGPTを提供します。 HealthGPT Seriesは、2つのサブプロジェクトで構成される医療向けマルチモーダル大規模言語モデルのファミリーです。Qwen3-VLを基盤とするHealthGPT-Proは、医療テキストや、CT、MRI、X線、眼底画像、病理組織画像などの2D画像、3D医療ボリュームを対象に、医療分野の理解と分析を行います。4B、8B、27BのモデルがHugging FaceとModelScopeで公開されています。

HealthGPT は無料で使えますか？ライセンスは？

HealthGPT は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

HealthGPT は今もメンテナンスされていますか？

半年以内に更新あり。HealthGPT の最終コミットは 2026年7月31日 です。

HealthGPT は何に使えますか？

レポートの理解と画像分析を組み合わせる医療視覚言語モデルの研究。 VQA-RAD、SLAKE、PathVQAなどのベンチマークを使った医療マルチモーダルLLMの評価。 研究用途で、テキストと医用画像データを対象とする医療質問応答ツールの構築。 医用画像分野における、パラメータ効率の高いアダプターを使った理解と生成の統合に関する研究。

HealthGPT のインストール方法は？

セットアップと推論の詳細は、HealthGPT-Pro の README を開いて確認してください または、HealthGPT の README を開いてセットアップと推論の手順を確認してください

HealthGPT はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/ZJU4HealthCare/HealthGPT