Um modelo aberto de visão e linguagem médica que processa textos médicos, imagens 2D, volumes de CT/MRI 3D e vídeos cirúrgicos, treinado com dados públicos.
87834PythonApache-2.0Atualizado há 2 meses
ZJU4HealthCare/HealthGPT
Família de modelos de linguagem multimodais para a área médica: HealthGPT-Pro entende textos médicos, imagens 2D e volumes 3D, enquanto HealthGPT oferece compreensão e geração unificadas.
- Estrelas
- 1,660
- Forks
- 242
- Issues abertas
- 13
- Último commit
- há 3 meses
O que é?
A série HealthGPT é uma família de modelos de linguagem multimodais para a área médica composta por dois subprojetos. Baseado no Qwen3-VL, o HealthGPT-Pro é voltado à compreensão e análise de textos médicos, imagens 2D — como CT, MRI, raios X, imagens de fundo de olho e histopatologia — e volumes médicos 3D. Está disponível nos tamanhos 4B, 8B e 27B no Hugging Face e no ModelScope.
HealthGPT é o modelo unificado da série para compreensão e geração na área médica. Ele usa adaptação heterogênea de baixo rank (H-LoRA) e uma estratégia de aprendizado em três etapas para que um LLM pré-treinado consiga seguir instruções tanto de compreensão visual quanto de geração. O projeto foi aceito no ICML 2025 como artigo Spotlight.
O repositório inclui os pesos dos modelos, o lançamento de um conjunto de dados (VL-Health) e resultados de benchmarks comparados aos de modelos como Lingshu e Hulu-Med em tarefas de QA médico e visão e linguagem. As instruções de configuração e inferência estão nos diretórios dos subprojetos.
Recursos principais
- 01Compreensão de textos médicos, imagens 2D e volumes 3D em um único modelo (HealthGPT-Pro).
- 02Abrange 14 modalidades médicas, incluindo CT, MRI, imagens de fundo de olho, dermatoscopia e histopatologia.
- 03Compreensão e geração unificadas por meio de adaptação heterogênea de baixo rank (H-LoRA).
- 04Pesos disponíveis nos tamanhos 4B, 8B e 27B no Hugging Face e no ModelScope.
- 05Inclui o conjunto de dados VL-Health e comparações de benchmark em tarefas de QA médico e VQA.
Casos de uso
- Pesquisar modelos médicos de visão e linguagem que combinam a compreensão de laudos com a análise de imagens.
- Avaliar LLMs multimodais médicos em benchmarks como VQA-RAD, SLAKE e PathVQA.
- Criar ferramentas de perguntas e respostas médicas com dados textuais e de imagem em um contexto de pesquisa.
- Estudar compreensão e geração unificadas com adapters eficientes em parâmetros para imagens médicas.
Início rápido
- 1
Abra o README do HealthGPT-Pro para ver os detalhes de configuração e inferência
- 2
Ou abra o README do HealthGPT para ver as etapas de configuração e inferência
Antes de usar
- As instruções de configuração e inferência estão nos READMEs dos sub-repositórios, não neste README de nível superior.
- As variantes do HealthGPT-Pro chegam a 27B de parâmetros, o que implica requisitos consideráveis de hardware.
Tópicos
Perguntas frequentes
- O que é HealthGPT?
- Família de modelos de linguagem multimodais para a área médica: HealthGPT-Pro entende textos médicos, imagens 2D e volumes 3D, enquanto HealthGPT oferece compreensão e geração unificadas. A série HealthGPT é uma família de modelos de linguagem multimodais para a área médica composta por dois subprojetos. Baseado no Qwen3-VL, o HealthGPT-Pro é voltado à compreensão e análise de textos médicos, imagens 2D — como CT, MRI, raios X, imagens de fundo de olho e histopatologia — e volumes médicos 3D. Está disponível nos tamanhos 4B, 8B e 27B no Hugging Face e no ModelScope.
- HealthGPT é gratuito? Qual é a licença?
- HealthGPT é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
- HealthGPT ainda é mantido?
- Atualizado nos últimos 6 meses. O último commit de HealthGPT foi em 31 de jul. de 2026.
- Para que posso usar HealthGPT?
- Pesquisar modelos médicos de visão e linguagem que combinam a compreensão de laudos com a análise de imagens. Avaliar LLMs multimodais médicos em benchmarks como VQA-RAD, SLAKE e PathVQA. Criar ferramentas de perguntas e respostas médicas com dados textuais e de imagem em um contexto de pesquisa. Estudar compreensão e geração unificadas com adapters eficientes em parâmetros para imagens médicas.
- Como instalar HealthGPT?
- Abra o README do HealthGPT-Pro para ver os detalhes de configuração e inferência Ou abra o README do HealthGPT para ver as etapas de configuração e inferência
- Onde consigo HealthGPT?
- O código-fonte e as instruções de instalação estão no GitHub: https://github.com/ZJU4HealthCare/HealthGPT
Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Projetos relacionados
Framework unificado para ajustar 100+ LLMs e VLMs com eficiência, usando uma CLI e uma interface Web sem código.
75,6 mil9,3 milPythonApache-2.0Atualizado anteontem
Modelos multimodais de código aberto (MiniCPM-V 4.7 e MiniCPM-o 4.5) para entender imagens, vídeos, documentos e fala em hardware local e dispositivos móveis.
26,9 mil2,1 milPythonApache-2.0Atualizado há 5 dias
Framework de ajuste fino, treinamento, inferência e implantação para mais de 600 LLMs e 400 modelos multimodais, com suporte a SFT, DPO e GRPO.
15,9 mil1,7 milPythonApache-2.0Atualizado há 4 horas
Um modelo multimodal de pesos abertos com 9 bilhões de parâmetros para compreensão visual, raciocínio espacial, uso de ferramentas por agentes e pesquisa em IA incorporada, baseado em Qwen3.5 e C-RADIOv4-H.
3,1 mil540PythonApache-2.0Atualizado mês passado
NEO é uma família de modelos nativos de visão e linguagem que processam pixels e palavras em uma única arquitetura densa sem encoder, com código de treinamento e avaliação.
90433PythonApache-2.0Atualizado há 3 meses