Repolode
Предложить
jingyaogong

jingyaogong/minimind-v

Компактная VLM с открытым исходным кодом (около 65 млн параметров), которую можно обучить с нуля примерно за два часа на одной GPU.

Открыть на GitHubСайт
Звёзды
8,775
Форки
983
Открытые issues
22
Последний коммит
30 дней назад

Что это?

MiniMind-V — небольшая мультимодальная модель, которая объединяет vision-энкодер и компактную языковую модель, чтобы отвечать на вопросы об изображениях. Проект охватывает весь пайплайн на чистом PyTorch: структуру модели, подготовку датасета, предобучение и supervised fine-tuning; также доступны инференс и WebUI.

Для обработки изображений используется замороженный энкодер SigLIP2, а небольшой MLP-проектор преобразует 64 признака патчей в пространство токенов языковой модели. Языковая основа инициализируется из родственной текстовой модели MiniMind, а при дообучении обновляются только проектор и первый и последний слои LLM. Среди опубликованных вариантов — плотная модель на 65 млн параметров и версия с mixture of experts.

Репозиторий предназначен для изучения устройства vision-language-моделей и поддерживает обучение на нескольких GPU с DDP, смешанную точность bfloat16, возобновление обучения с чекпойнта и логирование через wandb или SwanLab. Результаты получаются довольно грубыми: заметны повторы и ошибки в деталях, поэтому проект подходит для экспериментов, а не для использования в продакшене.

Ключевые возможности

  • 01Обучает VLM на 65 млн параметров с нуля; для одной GPU документирован процесс SFT.
  • 02Использует замороженный vision-энкодер SigLIP2 и MLP-проектор, который передаёт в LLM 64 токена изображения.
  • 03Предлагает плотную модель и вариант с mixture of experts.
  • 04Включает скрипты подготовки датасетов изображений и текста в формате Parquet.
  • 05Поддерживает мног GPU-обучение с DDP, bfloat16, возобновление обучения с чекпойнта и логирование через wandb или SwanLab.
  • 06Включает оценку через командную строку и WebUI для общения с моделью по изображениям.

Сценарии использования

  • Изучение того, как vision-language-модель устроена из vision-энкодера, проектора и LLM.
  • Проведение небольшого эксперимента с мультимодальным обучением на одной потребительской GPU.
  • Создание прототипов для ответов на вопросы об изображениях на основе минималистичной и понятной кодовой базы.
  • Использование проекта как основы для адаптации небольшой VLM под собственный датасет изображений и текста.

Темы

#vision-language-model#multimodal#pytorch#llm-training#small-models#siglip#image-captioning#artificial-intelligence#chatgpt

Частые вопросы

Что такое minimind-v?
Компактная VLM с открытым исходным кодом (около 65 млн параметров), которую можно обучить с нуля примерно за два часа на одной GPU. MiniMind-V — небольшая мультимодальная модель, которая объединяет vision-энкодер и компактную языковую модель, чтобы отвечать на вопросы об изображениях. Проект охватывает весь пайплайн на чистом PyTorch: структуру модели, подготовку датасета, предобучение и supervised fine-tuning; также доступны инференс и WebUI.
minimind-v можно использовать бесплатно? Какая у него лицензия?
minimind-v распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
minimind-v всё ещё поддерживается?
Активно поддерживается. Последний коммит в minimind-v — 22 сент. 2026 г..
Для чего можно использовать minimind-v?
Изучение того, как vision-language-модель устроена из vision-энкодера, проектора и LLM. Проведение небольшого эксперимента с мультимодальным обучением на одной потребительской GPU. Создание прототипов для ответов на вопросы об изображениях на основе минималистичной и понятной кодовой базы. Использование проекта как основы для адаптации небольшой VLM под собственный датасет изображений и текста.
Где скачать minimind-v?
Исходный код и инструкции по установке — на GitHub: https://github.com/jingyaogong/minimind-v

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты

EvolvingLMMs-Lab / NEO

NEO — семейство нативных моделей для работы с изображениями и текстом, которые обрабатывают пиксели и слова в единой плотной архитектуре без энкодера, с кодом для обучения и оценки.

ИИ и машинное обучение#vision-language-model#multimodal#encoder-free
90433PythonApache-2.0Обновлён 3 месяца назад