Открытая медицинская vision-language-модель для работы с медицинским текстом, 2D-изображениями, 3D-объёмами КТ и МРТ и хирургическими видео, обученная на открытых данных.
Hulu-Med — медицинская vision-language-модель от ZJU-AI4H, предназначенная для работы с медицинским текстом, 2D-изображениями, 3D-объёмами, например снимками КТ и МРТ в формате NIfTI, и видео, включая записи операций. Всё это поддерживается одной моделью. Доступны варианты размером от 4B до 235B параметров, построенные на языковых базовых моделях семейства Qwen и визуальном энкодере на основе SigLIP.
Проект делает упор на открытость: авторы представляют сбор и подготовку данных, код обучения и веса модели как полный конвейер и указывают, что модель обучалась на открытых данных. Модели доступны на Hugging Face и ModelScope. Их можно загрузить с помощью библиотеки Transformers, указав trust_remote_code, либо запустить через специальный загрузчик и сборку vLLM, чтобы ускорить инференс с помощью тензорного параллелизма.
В репозитории есть примеры кода для работы с одним или несколькими изображениями, чередующимися входными данными, 3D-данными и видео. Также доступен дополнительный режим рассуждений, в котором модель показывает ход своих рассуждений. Кроме того, в репозитории есть ссылка на набор инструментов для оценки MedUniEval, предназначенный для тестирования медицинских vision-language-моделей.
Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.
Открытые нативные унифицированные мультимодальные модели SenseNova для понимания изображений, генерации изображений по тексту и редактирования изображений в рамках одной архитектуры.
Мультимодальная модель с открытыми весами и 9 млрд параметров для визуального понимания, пространственных рассуждений, использования инструментов и исследований embodied AI, построенная на Qwen3.5 и C-RADIOv4-H.
Единый фреймворк для эффективной тонкой настройки более 100 LLM и VLM через CLI и веб-интерфейс без написания кода.
Мультимодальный стек AI-агентов с открытым исходным кодом от ByteDance: CLI и Web UI (Agent TARS), а также десктопное GUI-приложение-агент (UI-TARS Desktop).
Открытые мультимодальные модели (MiniCPM-V 4.7 и MiniCPM-o 4.5) для работы с изображениями, видео, документами и речью на локальных устройствах.
Единый фреймворк для few-shot-оценки языковых моделей на десятках стандартных академических бенчмарков.