Modelos multimodales unificados y nativos de código abierto de SenseNova que entienden imágenes, generan imágenes a partir de texto y editan imágenes con una sola arquitectura.
6,9 mil532PythonApache-2.0Actualizado hace 19 días
ZJUI-AI4H/Hulu-Med
Un modelo abierto de visión y lenguaje médico que procesa texto médico, imágenes 2D, volúmenes de CT/MRI 3D y videos quirúrgicos, entrenado con datos públicos.
- Estrellas
- 878
- Forks
- 34
- Issues abiertos
- 23
- Último commit
- hace 2 meses
¿Qué es?
Hulu-Med es un modelo médico de visión y lenguaje de ZJU-AI4H, diseñado para comprender texto médico, imágenes 2D, volúmenes 3D como estudios de CT y MRI en formato NIfTI, y videos, incluidas grabaciones quirúrgicas, en un solo modelo. Se ofrece en varios tamaños, de 4B a 235B parámetros, y se basa en modelos de lenguaje de la familia Qwen con un codificador de visión basado en SigLIP.
El proyecto hace hincapié en la apertura: sus autores describen la curación de datos, el código de entrenamiento y los pesos del modelo como un pipeline completo, y señalan que el entrenamiento utiliza datos públicos. Los modelos están disponibles en Hugging Face y ModelScope, y se pueden cargar con la biblioteca Transformers usando trust_remote_code, o ejecutar mediante un cargador personalizado y una versión de vLLM para acelerar la inferencia con paralelismo de tensores.
El repositorio incluye código de ejemplo para entradas de una o varias imágenes, intercaladas, 3D y de video, además de un modo de razonamiento opcional que muestra el razonamiento del modelo. También incluye un enlace al kit de evaluación MedUniEval, para comparar modelos médicos de visión y lenguaje.
Funciones clave
- 01Procesa texto médico, imágenes 2D, volúmenes NIfTI 3D y video en un solo modelo
- 02Disponible en varios tamaños, de 4B a 235B parámetros
- 03Se puede cargar con Hugging Face Transformers usando trust_remote_code
- 04Compatible con vLLM y paralelismo de tensores para acelerar la inferencia
- 05Modo de razonamiento opcional que muestra el razonamiento del modelo
Casos de uso
- Generar borradores de informes médicos a partir de estudios 2D o 3D
- Responder preguntas visuales sobre preparaciones patológicas o imágenes radiológicas
- Analizar videos quirúrgicos para reconocer las fases de una intervención
- Evaluar modelos multimodales médicos en investigaciones
Temas
Preguntas frecuentes
- ¿Qué es Hulu-Med?
- Un modelo abierto de visión y lenguaje médico que procesa texto médico, imágenes 2D, volúmenes de CT/MRI 3D y videos quirúrgicos, entrenado con datos públicos. Hulu-Med es un modelo médico de visión y lenguaje de ZJU-AI4H, diseñado para comprender texto médico, imágenes 2D, volúmenes 3D como estudios de CT y MRI en formato NIfTI, y videos, incluidas grabaciones quirúrgicas, en un solo modelo. Se ofrece en varios tamaños, de 4B a 235B parámetros, y se basa en modelos de lenguaje de la familia Qwen con un codificador de visión basado en SigLIP.
- ¿Hulu-Med es gratuito? ¿Qué licencia tiene?
- Hulu-Med es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿Hulu-Med sigue mantenido?
- Actualizado en los últimos 6 meses. El último commit de Hulu-Med fue el 30 ago 2026.
- ¿Para qué puedo usar Hulu-Med?
- Generar borradores de informes médicos a partir de estudios 2D o 3D Responder preguntas visuales sobre preparaciones patológicas o imágenes radiológicas Analizar videos quirúrgicos para reconocer las fases de una intervención Evaluar modelos multimodales médicos en investigaciones
- ¿Dónde consigo Hulu-Med?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/ZJUI-AI4H/Hulu-Med
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Modelo multimodal de pesos abiertos y 9B parámetros para comprensión visual, razonamiento espacial, uso de herramientas por agentes e investigación en IA corporeizada, basado en Qwen3.5 y C-RADIOv4-H.
3,1 mil540PythonApache-2.0Actualizado el mes pasado
Framework unificado para ajustar eficientemente más de 100 LLM y VLM con una CLI y una interfaz web sin código.
75,6 mil9,3 milPythonApache-2.0Actualizado hace 23 horas
Stack de agentes de IA multimodales de código abierto de ByteDance, con CLI y Web UI (Agent TARS) y una app de agente de escritorio con GUI (UI-TARS Desktop).
39,3 mil4 milTypeScriptApache-2.0Actualizado hace 12 días
Modelos multimodales de código abierto (MiniCPM-V 4.7 y MiniCPM-o 4.5) para comprender imágenes, videos, documentos y voz en hardware local y dispositivos.
26,9 mil2,1 milPythonApache-2.0Actualizado hace 4 días
Framework unificado para evaluar modelos de lenguaje con pocos ejemplos en decenas de benchmarks académicos estándar.
14,3 mil3,7 milPythonMITActualizado el mes pasado