Repolode
Taichu-AI

Taichu-AI/ZDTaichu5.0-9B

Мультимодальная модель с открытыми весами и 9 млрд параметров для визуального понимания, пространственных рассуждений, использования инструментов и исследований embodied AI, построенная на Qwen3.5 и C-RADIOv4-H.

Open source альтернатива:GPT-4V

Звёзды
3,076
Форки
540
Открытые issues
3
Последний коммит
в прошлом месяце

Что это?

ZDTaichu5.0-9B — мультимодальная базовая модель, которая принимает текст, одно или несколько изображений, а также видео и поддерживает визуальный ввод с произвольным разрешением. В её основе — языковая модель Qwen3.5-9B и визуальный энкодер C-RADIOv4-H. Модель предназначена для понимания изображений, документов, графиков, диаграмм и OCR, а также для решения визуальных математических задач, пространственных рассуждений по нескольким ракурсам, многошагового использования инструментов и пространственного восприятия в исследованиях VLA и embodied AI.

В проекте опубликовано несколько вариантов модели на Hugging Face и ModelScope, включая версии FP8, NVFP4 и DSpark. Веса доступны для скачивания. Модель можно запускать через Hugging Face Transformers с параметром trust_remote_code или обслуживать через форк vLLM, предоставляющий совместимый с OpenAI endpoint для chat completions с поддержкой изображений и видео. Дополнительные флаги включают вывод рассуждений и разбор вызовов инструментов.

В репозитории также описан механизм адаптивных рекуррентных рассуждений с отсечением по энтропии: он выделяет дополнительные шаги уточнения в латентном пространстве для более сложных токенов. Веса модели выпущены по лицензии NVIDIA Open Model License; сохранены также уведомления о лицензии Apache-2.0 для Qwen3.5 и другие уведомления вышестоящих проектов.

Ключевые возможности

  • 01Принимает на вход текст, несколько изображений и видео; поддерживает визуальный ввод с произвольным разрешением.
  • 02Решает задачи понимания документов, графиков, диаграмм и OCR, а также визуальные математические задачи.
  • 03Предназначена для пространственных задач, таких как сопоставление данных с нескольких ракурсов и понимание 3D-сцен.
  • 04Поддерживает многошаговое использование инструментов и работу с ними в нескольких ходах диалога.
  • 05Предлагает варианты FP8, NVFP4 и DSpark на Hugging Face и ModelScope.
  • 06Поддерживает развёртывание через форк vLLM с Docker-образами и совместимым с OpenAI API.

Сценарии использования

  • Извлечение информации из документов, графиков и диаграмм с помощью vision-language-модели.
  • Создание агентов, сочетающих понимание изображений с многошаговыми вызовами инструментов.
  • Исследования пространственных рассуждений, восприятия и планирования в embodied AI.
  • Запуск мультимодальной модели локально и предоставление к ней доступа через чат API в стиле OpenAI.

Что важно знать

  • Результаты бенчмарков — это данные, опубликованные авторами для указанных ими настроек оценки; здесь они не проверялись независимо.
  • В отрывке README приведены ссылки для скачивания модели, но нет команд для установки или запуска, поэтому в видимом тексте инструкции по настройке не описаны.

Темы

Частые вопросы

Что такое ZDTaichu5.0-9B?
Мультимодальная модель с открытыми весами и 9 млрд параметров для визуального понимания, пространственных рассуждений, использования инструментов и исследований embodied AI, построенная на Qwen3.5 и C-RADIOv4-H. ZDTaichu5.0-9B — мультимодальная базовая модель, которая принимает текст, одно или несколько изображений, а также видео и поддерживает визуальный ввод с произвольным разрешением. В её основе — языковая модель Qwen3.5-9B и визуальный энкодер C-RADIOv4-H. Модель предназначена для понимания изображений, документов, графиков, диаграмм и OCR, а также для решения визуальных математических задач, пространственных рассуждений по нескольким ракурсам, многошагового использования инструментов и пространственного восприятия в исследованиях VLA и embodied AI.
ZDTaichu5.0-9B можно использовать бесплатно? Какая у него лицензия?
ZDTaichu5.0-9B распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
ZDTaichu5.0-9B всё ещё поддерживается?
Обновлялся за последние 6 месяцев. Последний коммит в ZDTaichu5.0-9B — 17 сент. 2026 г..
Для чего можно использовать ZDTaichu5.0-9B?
Извлечение информации из документов, графиков и диаграмм с помощью vision-language-модели. Создание агентов, сочетающих понимание изображений с многошаговыми вызовами инструментов. Исследования пространственных рассуждений, восприятия и планирования в embodied AI. Запуск мультимодальной модели локально и предоставление к ней доступа через чат API в стиле OpenAI.
Где скачать ZDTaichu5.0-9B?
Исходный код и инструкции по установке — на GitHub: https://github.com/Taichu-AI/ZDTaichu5.0-9B

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты

NEO — семейство нативных моделей для работы с изображениями и текстом, которые обрабатывают пиксели и слова в единой плотной архитектуре без энкодера, с кодом для обучения и оценки.

90433PythonApache-2.0Обновлён 3 месяца назад

Унифицированная мультимодальная модель для задач компьютерного зрения: детекции, OCR, сегментации, оценки глубины и мультиракурсной геометрии с генерацией текста и изображений.

71742PythonApache-2.0Обновлён 2 месяца назад