Repolode
Enviar
ZJUI-AI4H

ZJUI-AI4H/Hulu-Med

Um modelo aberto de visão e linguagem médica que processa textos médicos, imagens 2D, volumes de CT/MRI 3D e vídeos cirúrgicos, treinado com dados públicos.

Ver no GitHub
Estrelas
878
Forks
34
Issues abertas
23
Último commit
há 2 meses

O que é?

Hulu-Med é um modelo médico de visão e linguagem criado pela ZJU-AI4H para compreender textos médicos, imagens 2D, volumes 3D — como exames de CT e MRI em NIfTI — e vídeos, incluindo gravações cirúrgicas, tudo em um único modelo. Ele está disponível em vários tamanhos, de 4B a 235B parâmetros, e usa modelos de linguagem baseados na família Qwen, com um encoder de visão baseado em SigLIP.

O projeto prioriza a abertura: os autores descrevem a curadoria dos dados, o código de treinamento e os pesos do modelo como um pipeline completo e afirmam que o treinamento usa dados públicos. Os modelos estão disponíveis no Hugging Face e no ModelScope e podem ser carregados com a biblioteca Transformers usando trust_remote_code, ou executados por meio de um loader próprio e de uma versão do vLLM para inferência mais rápida com paralelismo de tensores.

O repositório inclui exemplos de código para entradas de imagem única, múltiplas imagens, conteúdo intercalado, dados 3D e vídeo, além de um modo opcional de raciocínio que expõe o processo de raciocínio do modelo. Ele também inclui um link para o toolkit de avaliação MedUniEval, usado para comparar modelos médicos de visão e linguagem.

Recursos principais

  • 01Processa textos médicos, imagens 2D, volumes NIfTI 3D e vídeos em um único modelo
  • 02Disponível em vários tamanhos, de 4B a 235B parâmetros
  • 03Pode ser carregado com Hugging Face Transformers usando trust_remote_code
  • 04Suporte a vLLM com paralelismo de tensores para inferência mais rápida
  • 05Modo opcional de raciocínio que retorna o processo de raciocínio do modelo

Casos de uso

  • Gerar rascunhos de laudos médicos a partir de exames 2D ou 3D
  • Responder a perguntas visuais sobre lâminas de patologia ou imagens radiológicas
  • Analisar vídeos cirúrgicos para reconhecer as etapas do procedimento
  • Avaliar modelos multimodais médicos em pesquisas

Tópicos

#medical-ai#vision-language-model#multimodal#healthcare#transformers#vllm#medical-imaging

Perguntas frequentes

O que é Hulu-Med?
Um modelo aberto de visão e linguagem médica que processa textos médicos, imagens 2D, volumes de CT/MRI 3D e vídeos cirúrgicos, treinado com dados públicos. Hulu-Med é um modelo médico de visão e linguagem criado pela ZJU-AI4H para compreender textos médicos, imagens 2D, volumes 3D — como exames de CT e MRI em NIfTI — e vídeos, incluindo gravações cirúrgicas, tudo em um único modelo. Ele está disponível em vários tamanhos, de 4B a 235B parâmetros, e usa modelos de linguagem baseados na família Qwen, com um encoder de visão baseado em SigLIP.
Hulu-Med é gratuito? Qual é a licença?
Hulu-Med é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
Hulu-Med ainda é mantido?
Atualizado nos últimos 6 meses. O último commit de Hulu-Med foi em 30 de ago. de 2026.
Para que posso usar Hulu-Med?
Gerar rascunhos de laudos médicos a partir de exames 2D ou 3D Responder a perguntas visuais sobre lâminas de patologia ou imagens radiológicas Analisar vídeos cirúrgicos para reconhecer as etapas do procedimento Avaliar modelos multimodais médicos em pesquisas
Onde consigo Hulu-Med?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/ZJUI-AI4H/Hulu-Med

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados