Repolode
投稿する
ZJUI-AI4H

ZJUI-AI4H/Hulu-Med

公開データで学習した、医療テキスト、2D画像、3D CT/MRIボリューム、手術動画を扱えるオープンな医療向け視覚言語モデルです。

GitHub で見る
スター
878
フォーク
34
未解決の Issue
23
最終コミット
2 か月前

これは何？

Hulu-Medは、ZJU-AI4Hが開発した医療向け視覚言語モデルです。医療テキスト、2D画像、NIfTI形式のCTやMRIスキャンなどの3Dボリューム、手術映像を含む動画を、ひとつのモデルで理解できるよう設計されています。Qwen系の言語バックボーンとSigLIPベースの視覚エンコーダーを採用し、パラメーター数が4Bから235Bまでの複数サイズで公開されています。

本プロジェクトはオープン性を重視しています。著者らはデータのキュレーション、学習コード、モデルの重みを一貫したパイプラインとして公開しており、学習には公開データを使用するとしています。モデルはHugging FaceとModelScopeで公開されており、Transformersライブラリからtrust_remote_codeを使って読み込めます。また、カスタムローダーや、テンソル並列化によって推論を高速化するvLLMのビルドを通じて実行できます。

リポジトリには、単一画像、複数画像、画像とテキストの交互入力、3D、動画の入力例に加え、モデルの推論過程を表示するオプションのthinking modeが含まれています。また、医療向け視覚言語モデルのベンチマークに使える評価ツールキットMedUniEvalへのリンクもあります。

主な機能

  • 01医療テキスト、2D画像、3D NIfTIボリューム、動画をひとつのモデルで処理
  • 02パラメーター数4Bから235Bまでの複数サイズで公開
  • 03trust_remote_codeを使い、Hugging Face Transformers経由で読み込み可能
  • 04テンソル並列化による高速推論を実現するvLLM対応
  • 05モデルの推論過程を返すオプションのthinking mode

ユースケース

  • 2Dまたは3Dスキャンから医療レポートの草案を生成
  • 病理スライドや放射線画像に関する視覚的な質問への回答
  • 手術動画を解析して手術フェーズを認識
  • 医療マルチモーダルモデルの研究・ベンチマーク

トピック

#medical-ai#vision-language-model#multimodal#healthcare#transformers#vllm#medical-imaging

よくある質問

Hulu-Med とは？
公開データで学習した、医療テキスト、2D画像、3D CT/MRIボリューム、手術動画を扱えるオープンな医療向け視覚言語モデルです。 Hulu-Medは、ZJU-AI4Hが開発した医療向け視覚言語モデルです。医療テキスト、2D画像、NIfTI形式のCTやMRIスキャンなどの3Dボリューム、手術映像を含む動画を、ひとつのモデルで理解できるよう設計されています。Qwen系の言語バックボーンとSigLIPベースの視覚エンコーダーを採用し、パラメーター数が4Bから235Bまでの複数サイズで公開されています。
Hulu-Med は無料で使えますか？ライセンスは？
Hulu-Med は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
Hulu-Med は今もメンテナンスされていますか？
半年以内に更新あり。Hulu-Med の最終コミットは 2026年8月30日 です。
Hulu-Med は何に使えますか？
2Dまたは3Dスキャンから医療レポートの草案を生成 病理スライドや放射線画像に関する視覚的な質問への回答 手術動画を解析して手術フェーズを認識 医療マルチモーダルモデルの研究・ベンチマーク
Hulu-Med はどこで入手できますか？
ソースコードとインストール手順は GitHub にあります：https://github.com/ZJUI-AI4H/Hulu-Med

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト