Modelos multimodales de código abierto (MiniCPM-V 4.7 y MiniCPM-o 4.5) para comprender imágenes, videos, documentos y voz en hardware local y dispositivos.
26,9 mil2,1 milPythonApache-2.0Actualizado hace 4 días
Taichu-AI/ZDTaichu5.0-9B
Modelo multimodal de pesos abiertos y 9B parámetros para comprensión visual, razonamiento espacial, uso de herramientas por agentes e investigación en IA corporeizada, basado en Qwen3.5 y C-RADIOv4-H.
Alternativa open source a:GPT-4V
- Estrellas
- 3,076
- Forks
- 540
- Issues abiertos
- 3
- Último commit
- el mes pasado
¿Qué es?
ZDTaichu5.0-9B es un modelo fundacional multimodal que acepta texto, una o varias imágenes y video, con entrada visual de cualquier resolución. Combina un backbone de lenguaje Qwen3.5-9B con un codificador visual C-RADIOv4-H. Está orientado a la comprensión general de imágenes, documentos, gráficos, diagramas y OCR, así como a las matemáticas visuales, el razonamiento espacial con múltiples vistas, el uso de herramientas en varios pasos y la percepción espacial para trabajos de VLA e IA corporeizada.
El proyecto publica varias variantes en Hugging Face y ModelScope, incluidas versiones FP8, NVFP4 y DSpark. Los pesos se pueden descargar y el modelo puede ejecutarse con Hugging Face Transformers mediante trust_remote_code o servirse a través de una bifurcación de vLLM que ofrece un endpoint de chat completions compatible con OpenAI y admite entradas de imagen y video. Hay indicadores opcionales para habilitar la salida de razonamiento y el análisis de llamadas a herramientas.
El repositorio también describe un mecanismo de razonamiento recurrente adaptativo con activación basada en la entropía, que asigna pasos adicionales de refinamiento en el espacio latente a los tokens más difíciles. Los pesos del modelo se publican bajo la NVIDIA Open Model License; se conservan las licencias Apache-2.0 de Qwen3.5 y otros avisos de los proyectos de origen.
Funciones clave
- 01Acepta texto, varias imágenes y video como entrada, con entrada visual de cualquier resolución.
- 02Abarca la comprensión de documentos, gráficos, diagramas y OCR, además de las matemáticas visuales.
- 03Está orientado a tareas de razonamiento espacial, como la asociación de múltiples vistas y la comprensión de escenas 3D.
- 04Admite el uso de herramientas en varios pasos y turnos.
- 05Ofrece variantes FP8, NVFP4 y DSpark en Hugging Face y ModelScope.
- 06Ofrece una opción de publicación mediante una bifurcación de vLLM con imágenes Docker y compatibilidad con OpenAI.
Casos de uso
- Extraer información de documentos, gráficos y diagramas con un modelo de visión y lenguaje.
- Crear agentes que combinen la comprensión de imágenes con llamadas a herramientas en varios pasos.
- Investigar el razonamiento espacial o la percepción y planificación para la IA corporeizada.
- Servir un modelo multimodal local mediante una API de chat al estilo de OpenAI.
Antes de usarlo
- Los resultados de los benchmarks son cifras publicadas por los autores con los parámetros de evaluación indicados; no se han verificado de forma independiente aquí.
- El fragmento del README incluye enlaces para descargar el modelo, pero no comandos de instalación ni de ejecución, por lo que el texto visible no documenta los pasos de configuración.
Temas
Preguntas frecuentes
- ¿Qué es ZDTaichu5.0-9B?
- Modelo multimodal de pesos abiertos y 9B parámetros para comprensión visual, razonamiento espacial, uso de herramientas por agentes e investigación en IA corporeizada, basado en Qwen3.5 y C-RADIOv4-H. ZDTaichu5.0-9B es un modelo fundacional multimodal que acepta texto, una o varias imágenes y video, con entrada visual de cualquier resolución. Combina un backbone de lenguaje Qwen3.5-9B con un codificador visual C-RADIOv4-H. Está orientado a la comprensión general de imágenes, documentos, gráficos, diagramas y OCR, así como a las matemáticas visuales, el razonamiento espacial con múltiples vistas, el uso de herramientas en varios pasos y la percepción espacial para trabajos de VLA e IA corporeizada.
- ¿ZDTaichu5.0-9B es gratuito? ¿Qué licencia tiene?
- ZDTaichu5.0-9B es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿ZDTaichu5.0-9B sigue mantenido?
- Actualizado en los últimos 6 meses. El último commit de ZDTaichu5.0-9B fue el 17 sept 2026.
- ¿Para qué puedo usar ZDTaichu5.0-9B?
- Extraer información de documentos, gráficos y diagramas con un modelo de visión y lenguaje. Crear agentes que combinen la comprensión de imágenes con llamadas a herramientas en varios pasos. Investigar el razonamiento espacial o la percepción y planificación para la IA corporeizada. Servir un modelo multimodal local mediante una API de chat al estilo de OpenAI.
- ¿Dónde consigo ZDTaichu5.0-9B?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/Taichu-AI/ZDTaichu5.0-9B
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Modelos de lenguaje gpt-oss-120b y gpt-oss-20b de pesos abiertos de OpenAI, con código de referencia para inferencia, herramientas y clientes.
20,5 mil2,2 milPythonApache-2.0Actualizado hace 8 días
NEO es una familia de modelos nativos de visión y lenguaje que procesan píxeles y palabras en una arquitectura densa sin encoder, e incluye código de entrenamiento y evaluación.
90433PythonApache-2.0Actualizado hace 3 meses
Un modelo abierto de visión y lenguaje médico que procesa texto médico, imágenes 2D, volúmenes de CT/MRI 3D y videos quirúrgicos, entrenado con datos públicos.
87834PythonApache-2.0Actualizado hace 2 meses
Motor de entrenamiento unificado para modelos multimodales, compatible con VLM, difusión y entrenamiento de LLM con FSDP2, Muon y kernels de Liger.
83238PythonSin licenciaActualizado anteayer
Un modelo multimodal unificado que realiza tareas de visión por computadora como detección, OCR, segmentación, estimación de profundidad y geometría multivista mediante generación de texto e imágenes.
IA y Machine Learning#multimodal#computer-vision#vision-language-model#segmentation#depth-estimation
71742PythonApache-2.0Actualizado hace 2 meses