Un modelo abierto de visión y lenguaje médico que procesa texto médico, imágenes 2D, volúmenes de CT/MRI 3D y videos quirúrgicos, entrenado con datos públicos.
87834PythonApache-2.0Actualizado hace 2 meses
ZJU4HealthCare/HealthGPT
Familia de modelos de lenguaje grandes multimodales médicos: HealthGPT-Pro entiende texto médico, imágenes 2D y volúmenes 3D, mientras que HealthGPT ofrece comprensión y generación unificadas.
- Estrellas
- 1,660
- Forks
- 242
- Issues abiertos
- 13
- Último commit
- hace 3 meses
¿Qué es?
HealthGPT Series es una familia de modelos de lenguaje grandes multimodales médicos compuesta por dos subproyectos. HealthGPT-Pro, basado en Qwen3-VL, está diseñado para comprender y analizar texto médico, imágenes 2D como CT, MRI, rayos X, imágenes de fondo de ojo y de histopatología, y volúmenes médicos 3D. Está disponible en tamaños de 4B, 8B y 27B en Hugging Face y ModelScope.
HealthGPT es el modelo de la serie que unifica la comprensión y la generación médicas. Utiliza adaptación heterogénea de bajo rango (H-LoRA) y una estrategia de aprendizaje en tres etapas para que un LLM preentrenado pueda seguir instrucciones tanto de comprensión visual como de generación. El proyecto fue aceptado como artículo Spotlight en ICML 2025.
El repositorio incluye los pesos de los modelos, una publicación del conjunto de datos (VL-Health) y resultados de benchmarks comparados con modelos como Lingshu y Hulu-Med en tareas de preguntas y respuestas médicas y de visión y lenguaje. Los directorios de los subproyectos contienen información sobre la configuración y la inferencia.
Funciones clave
- 01Comprensión de texto médico, imágenes 2D y volúmenes 3D en un solo modelo (HealthGPT-Pro).
- 02Abarca 14 modalidades médicas, entre ellas CT, MRI, fondo de ojo, dermatoscopia e histopatología.
- 03Comprensión y generación unificadas mediante adaptación heterogénea de bajo rango (H-LoRA).
- 04Pesos disponibles en tamaños de 4B, 8B y 27B en Hugging Face y ModelScope.
- 05Incluye el conjunto de datos VL-Health y comparativas de rendimiento en tareas de preguntas y respuestas médicas y VQA.
Casos de uso
- Investigar modelos médicos de visión y lenguaje que combinen la comprensión de informes con el análisis de imágenes.
- Evaluar LLM multimodales médicos con benchmarks como VQA-RAD, SLAKE y PathVQA.
- Crear herramientas de preguntas y respuestas médicas sobre datos de texto e imágenes en un entorno de investigación.
- Estudiar la comprensión y generación unificadas con adaptadores eficientes en parámetros para imágenes médicas.
Inicio rápido
- 1
Abre el README de HealthGPT-Pro para consultar los detalles de configuración e inferencia
- 2
O abre el README de HealthGPT para consultar los pasos de configuración e inferencia
Antes de usarlo
- Las instrucciones de configuración e inferencia están en los README de los subrepositorios, no en este README de nivel superior.
- Las variantes de HealthGPT-Pro llegan hasta los 27B de parámetros, lo que implica requisitos de hardware considerables.
Temas
Preguntas frecuentes
- ¿Qué es HealthGPT?
- Familia de modelos de lenguaje grandes multimodales médicos: HealthGPT-Pro entiende texto médico, imágenes 2D y volúmenes 3D, mientras que HealthGPT ofrece comprensión y generación unificadas. HealthGPT Series es una familia de modelos de lenguaje grandes multimodales médicos compuesta por dos subproyectos. HealthGPT-Pro, basado en Qwen3-VL, está diseñado para comprender y analizar texto médico, imágenes 2D como CT, MRI, rayos X, imágenes de fondo de ojo y de histopatología, y volúmenes médicos 3D. Está disponible en tamaños de 4B, 8B y 27B en Hugging Face y ModelScope.
- ¿HealthGPT es gratuito? ¿Qué licencia tiene?
- HealthGPT es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿HealthGPT sigue mantenido?
- Actualizado en los últimos 6 meses. El último commit de HealthGPT fue el 31 jul 2026.
- ¿Para qué puedo usar HealthGPT?
- Investigar modelos médicos de visión y lenguaje que combinen la comprensión de informes con el análisis de imágenes. Evaluar LLM multimodales médicos con benchmarks como VQA-RAD, SLAKE y PathVQA. Crear herramientas de preguntas y respuestas médicas sobre datos de texto e imágenes en un entorno de investigación. Estudiar la comprensión y generación unificadas con adaptadores eficientes en parámetros para imágenes médicas.
- ¿Cómo se instala HealthGPT?
- Abre el README de HealthGPT-Pro para consultar los detalles de configuración e inferencia O abre el README de HealthGPT para consultar los pasos de configuración e inferencia
- ¿Dónde consigo HealthGPT?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/ZJU4HealthCare/HealthGPT
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Framework unificado para ajustar eficientemente más de 100 LLM y VLM con una CLI y una interfaz web sin código.
75,6 mil9,3 milPythonApache-2.0Actualizado anteayer
Modelos multimodales de código abierto (MiniCPM-V 4.7 y MiniCPM-o 4.5) para comprender imágenes, videos, documentos y voz en hardware local y dispositivos.
26,9 mil2,1 milPythonApache-2.0Actualizado hace 5 días
Framework de ajuste fino, entrenamiento, inferencia y despliegue para más de 600 modelos de lenguaje grandes y más de 400 modelos multimodales, compatible con SFT, DPO y GRPO.
15,9 mil1,7 milPythonApache-2.0Actualizado hace 4 horas
Modelo multimodal de pesos abiertos y 9B parámetros para comprensión visual, razonamiento espacial, uso de herramientas por agentes e investigación en IA corporeizada, basado en Qwen3.5 y C-RADIOv4-H.
3,1 mil540PythonApache-2.0Actualizado el mes pasado
NEO es una familia de modelos nativos de visión y lenguaje que procesan píxeles y palabras en una arquitectura densa sin encoder, e incluye código de entrenamiento y evaluación.
90433PythonApache-2.0Actualizado hace 3 meses