Modelos multimodais de código aberto (MiniCPM-V 4.7 e MiniCPM-o 4.5) para entender imagens, vídeos, documentos e fala em hardware local e dispositivos móveis.
26,9 mil2,1 milPythonApache-2.0Atualizado há 4 dias
Taichu-AI/ZDTaichu5.0-9B
Um modelo multimodal de pesos abertos com 9 bilhões de parâmetros para compreensão visual, raciocínio espacial, uso de ferramentas por agentes e pesquisa em IA incorporada, baseado em Qwen3.5 e C-RADIOv4-H.
Alternativa open source a:GPT-4V
- Estrelas
- 3,076
- Forks
- 540
- Issues abertas
- 3
- Último commit
- mês passado
O que é?
ZDTaichu5.0-9B é um modelo fundacional multimodal que aceita texto, uma ou mais imagens e vídeo, com entrada visual em qualquer resolução. Ele combina um backbone de linguagem Qwen3.5-9B com um encoder visual C-RADIOv4-H. O modelo foi desenvolvido para compreensão geral de imagens, documentos, gráficos, diagramas e OCR, além de matemática visual, raciocínio espacial com múltiplas perspectivas, uso de ferramentas em várias etapas e percepção espacial para trabalhos com VLA e IA incorporada.
O projeto publica várias variantes no Hugging Face e no ModelScope, incluindo versões FP8, NVFP4 e DSpark. Os pesos estão disponíveis para download, e o modelo pode ser executado com Hugging Face Transformers usando trust_remote_code ou servido por meio de um fork do vLLM que disponibiliza um endpoint de chat completions compatível com OpenAI, com entrada de imagens e vídeos. Flags opcionais habilitam a saída de raciocínio e a interpretação de chamadas de ferramentas.
O repositório também descreve um mecanismo de raciocínio recorrente adaptativo, controlado por entropia, que aloca etapas extras de refinamento no espaço latente para tokens mais difíceis. Os pesos do modelo são disponibilizados sob a NVIDIA Open Model License, mantendo os avisos de licença Apache-2.0 do Qwen3.5 e de outros projetos upstream.
Recursos principais
- 01Aceita texto, várias imagens e vídeo como entrada, com conteúdo visual em qualquer resolução.
- 02Abrange a compreensão de documentos, gráficos, diagramas e OCR, além de matemática visual.
- 03Tem como foco tarefas de raciocínio espacial, como associação entre múltiplas perspectivas e compreensão de cenas 3D.
- 04Oferece suporte ao uso de ferramentas em várias etapas e em várias interações.
- 05Disponibiliza variantes FP8, NVFP4 e DSpark no Hugging Face e no ModelScope.
- 06Oferece uma opção de serving compatível com OpenAI por meio de um fork do vLLM com imagens Docker.
Casos de uso
- Extrair informações de documentos, gráficos e diagramas com um modelo de visão e linguagem.
- Criar agentes que combinem compreensão de imagens com chamadas de ferramentas em várias etapas.
- Pesquisar raciocínio espacial ou percepção e planejamento para IA incorporada.
- Servir um modelo multimodal local por trás de uma API de chat no estilo OpenAI.
Antes de usar
- Os resultados dos benchmarks são números informados pelos próprios autores com as configurações de avaliação especificadas; eles não foram verificados de forma independente aqui.
- O trecho do README inclui links para baixar o modelo, mas não traz comandos de instalação ou execução. Portanto, o texto visível não documenta as etapas de configuração.
Tópicos
Perguntas frequentes
- O que é ZDTaichu5.0-9B?
- Um modelo multimodal de pesos abertos com 9 bilhões de parâmetros para compreensão visual, raciocínio espacial, uso de ferramentas por agentes e pesquisa em IA incorporada, baseado em Qwen3.5 e C-RADIOv4-H. ZDTaichu5.0-9B é um modelo fundacional multimodal que aceita texto, uma ou mais imagens e vídeo, com entrada visual em qualquer resolução. Ele combina um backbone de linguagem Qwen3.5-9B com um encoder visual C-RADIOv4-H. O modelo foi desenvolvido para compreensão geral de imagens, documentos, gráficos, diagramas e OCR, além de matemática visual, raciocínio espacial com múltiplas perspectivas, uso de ferramentas em várias etapas e percepção espacial para trabalhos com VLA e IA incorporada.
- ZDTaichu5.0-9B é gratuito? Qual é a licença?
- ZDTaichu5.0-9B é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
- ZDTaichu5.0-9B ainda é mantido?
- Atualizado nos últimos 6 meses. O último commit de ZDTaichu5.0-9B foi em 17 de set. de 2026.
- Para que posso usar ZDTaichu5.0-9B?
- Extrair informações de documentos, gráficos e diagramas com um modelo de visão e linguagem. Criar agentes que combinem compreensão de imagens com chamadas de ferramentas em várias etapas. Pesquisar raciocínio espacial ou percepção e planejamento para IA incorporada. Servir um modelo multimodal local por trás de uma API de chat no estilo OpenAI.
- Onde consigo ZDTaichu5.0-9B?
- O código-fonte e as instruções de instalação estão no GitHub: https://github.com/Taichu-AI/ZDTaichu5.0-9B
Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Projetos relacionados
Modelos de linguagem open-weight gpt-oss-120b e gpt-oss-20b da OpenAI, com código de referência para inferência, ferramentas e clientes.
20,5 mil2,2 milPythonApache-2.0Atualizado há 8 dias
NEO é uma família de modelos nativos de visão e linguagem que processam pixels e palavras em uma única arquitetura densa sem encoder, com código de treinamento e avaliação.
90433PythonApache-2.0Atualizado há 3 meses
Um modelo aberto de visão e linguagem médica que processa textos médicos, imagens 2D, volumes de CT/MRI 3D e vídeos cirúrgicos, treinado com dados públicos.
87834PythonApache-2.0Atualizado há 2 meses
Engine unificado de treinamento para modelos multimodais, com suporte a treinamento de VLMs, modelos de difusão e LLMs usando FSDP2, Muon e kernels Liger.
83238PythonSem licençaAtualizado anteontem
Um modelo multimodal unificado que realiza tarefas de visão computacional, como detecção, OCR, segmentação, estimativa de profundidade e geometria multivista, por meio da geração de texto e imagens.
IA e Machine Learning#multimodal#computer-vision#vision-language-model#segmentation#depth-estimation
71742PythonApache-2.0Atualizado há 2 meses