Открытые мультимодальные модели (MiniCPM-V 4.7 и MiniCPM-o 4.5) для работы с изображениями, видео, документами и речью на локальных устройствах.
Taichu-AI/ZDTaichu5.0-9B
Мультимодальная модель с открытыми весами и 9 млрд параметров для визуального понимания, пространственных рассуждений, использования инструментов и исследований embodied AI, построенная на Qwen3.5 и C-RADIOv4-H.
Open source альтернатива:GPT-4V
- Звёзды
- 3,076
- Форки
- 540
- Открытые issues
- 3
- Последний коммит
- в прошлом месяце
Что это?
ZDTaichu5.0-9B — мультимодальная базовая модель, которая принимает текст, одно или несколько изображений, а также видео и поддерживает визуальный ввод с произвольным разрешением. В её основе — языковая модель Qwen3.5-9B и визуальный энкодер C-RADIOv4-H. Модель предназначена для понимания изображений, документов, графиков, диаграмм и OCR, а также для решения визуальных математических задач, пространственных рассуждений по нескольким ракурсам, многошагового использования инструментов и пространственного восприятия в исследованиях VLA и embodied AI.
В проекте опубликовано несколько вариантов модели на Hugging Face и ModelScope, включая версии FP8, NVFP4 и DSpark. Веса доступны для скачивания. Модель можно запускать через Hugging Face Transformers с параметром trust_remote_code или обслуживать через форк vLLM, предоставляющий совместимый с OpenAI endpoint для chat completions с поддержкой изображений и видео. Дополнительные флаги включают вывод рассуждений и разбор вызовов инструментов.
В репозитории также описан механизм адаптивных рекуррентных рассуждений с отсечением по энтропии: он выделяет дополнительные шаги уточнения в латентном пространстве для более сложных токенов. Веса модели выпущены по лицензии NVIDIA Open Model License; сохранены также уведомления о лицензии Apache-2.0 для Qwen3.5 и другие уведомления вышестоящих проектов.
Ключевые возможности
- 01Принимает на вход текст, несколько изображений и видео; поддерживает визуальный ввод с произвольным разрешением.
- 02Решает задачи понимания документов, графиков, диаграмм и OCR, а также визуальные математические задачи.
- 03Предназначена для пространственных задач, таких как сопоставление данных с нескольких ракурсов и понимание 3D-сцен.
- 04Поддерживает многошаговое использование инструментов и работу с ними в нескольких ходах диалога.
- 05Предлагает варианты FP8, NVFP4 и DSpark на Hugging Face и ModelScope.
- 06Поддерживает развёртывание через форк vLLM с Docker-образами и совместимым с OpenAI API.
Сценарии использования
- Извлечение информации из документов, графиков и диаграмм с помощью vision-language-модели.
- Создание агентов, сочетающих понимание изображений с многошаговыми вызовами инструментов.
- Исследования пространственных рассуждений, восприятия и планирования в embodied AI.
- Запуск мультимодальной модели локально и предоставление к ней доступа через чат API в стиле OpenAI.
Что важно знать
- Результаты бенчмарков — это данные, опубликованные авторами для указанных ими настроек оценки; здесь они не проверялись независимо.
- В отрывке README приведены ссылки для скачивания модели, но нет команд для установки или запуска, поэтому в видимом тексте инструкции по настройке не описаны.
Темы
Частые вопросы
- Что такое ZDTaichu5.0-9B?
- Мультимодальная модель с открытыми весами и 9 млрд параметров для визуального понимания, пространственных рассуждений, использования инструментов и исследований embodied AI, построенная на Qwen3.5 и C-RADIOv4-H. ZDTaichu5.0-9B — мультимодальная базовая модель, которая принимает текст, одно или несколько изображений, а также видео и поддерживает визуальный ввод с произвольным разрешением. В её основе — языковая модель Qwen3.5-9B и визуальный энкодер C-RADIOv4-H. Модель предназначена для понимания изображений, документов, графиков, диаграмм и OCR, а также для решения визуальных математических задач, пространственных рассуждений по нескольким ракурсам, многошагового использования инструментов и пространственного восприятия в исследованиях VLA и embodied AI.
- ZDTaichu5.0-9B можно использовать бесплатно? Какая у него лицензия?
- ZDTaichu5.0-9B распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
- ZDTaichu5.0-9B всё ещё поддерживается?
- Обновлялся за последние 6 месяцев. Последний коммит в ZDTaichu5.0-9B — 17 сент. 2026 г..
- Для чего можно использовать ZDTaichu5.0-9B?
- Извлечение информации из документов, графиков и диаграмм с помощью vision-language-модели. Создание агентов, сочетающих понимание изображений с многошаговыми вызовами инструментов. Исследования пространственных рассуждений, восприятия и планирования в embodied AI. Запуск мультимодальной модели локально и предоставление к ней доступа через чат API в стиле OpenAI.
- Где скачать ZDTaichu5.0-9B?
- Исходный код и инструкции по установке — на GitHub: https://github.com/Taichu-AI/ZDTaichu5.0-9B
Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.
Похожие проекты
Открытые веса языковых моделей gpt-oss-120b и gpt-oss-20b от OpenAI, а также эталонные реализации инференса, инструментов и клиентского кода.
NEO — семейство нативных моделей для работы с изображениями и текстом, которые обрабатывают пиксели и слова в единой плотной архитектуре без энкодера, с кодом для обучения и оценки.
Открытая медицинская vision-language-модель для работы с медицинским текстом, 2D-изображениями, 3D-объёмами КТ и МРТ и хирургическими видео, обученная на открытых данных.
Универсальный движок для обучения мультимодальных моделей: поддерживает VLM, diffusion- и LLM-модели, а также FSDP2, Muon и ядра Liger.
Унифицированная мультимодальная модель для задач компьютерного зрения: детекции, OCR, сегментации, оценки глубины и мультиракурсной геометрии с генерацией текста и изображений.