TinyLLaVA/TinyLLaVA_Factory

Что это?

Ключевые возможности

• 01Взаимозаменяемые компоненты LLM, vision tower и connector для создания собственных мультимодальных моделей.
• 02Рецепты обучения с замороженными параметрами, полным и частичным дообучением, LoRA и QLoRA.
• 03Предварительно обученные модели на базе Phi-2, Gemma, Qwen и TinyLlama с vision encoder SigLIP или CLIP.
• 04Веб-демо на Gradio и инструменты инференса через командную строку.
• 05Документированные процессы подготовки данных и оценки моделей.

Сценарии использования

• Обучение компактной vision-language модели на одной GPU для ответов на вопросы по изображениям.
• Эксперименты с разными языковыми моделями и vision encoder в модульной конфигурации.
• Дообучение мультимодальной модели на собственном датасете изображений и текста с помощью LoRA.
• Воспроизведение результатов обучения и оценки компактных LMM.

Быстрый старт

1. 1

   Клонируйте репозиторий

   git clone https://github.com/TinyLLaVA/TinyLLaVA_Factory.git
2. 2

   Перейдите в папку проекта

   cd TinyLLaVA_Factory
3. 3

   Создайте и активируйте окружение conda, затем установите пакет

   conda create -n tinyllava_factory python=3.10 -y && conda activate tinyllava_factory && pip install --upgrade pip && pip install -e .
4. 4

   Запустите локальную веб-демонстрацию Gradio с предварительно обученной моделью

   python tinyllava/serve/app.py --model-path tinyllava/TinyLLaVA-Phi-2-SigLIP-3.1B

Что важно знать

• !Для обучения и большинства задач инференса требуются окружение conda и GPU с поддержкой CUDA; flash-attn нужно собирать отдельно.
• !Требования к окружению отличаются от требований LLaVA, поэтому существующие настройки LLaVA могут не подойти без изменений.

В подборках

Темы

Частые вопросы

Что такое TinyLLaVA_Factory?

Модульная кодовая база на PyTorch и Hugging Face для создания, обучения и оценки компактных больших мультимодальных моделей (vision-language). TinyLLaVA Factory — модульная кодовая база для компактных больших мультимодальных моделей, объединяющих vision encoder и языковую модель. Архитектура позволяет независимо заменять LLM, vision tower, connector и рецепт обучения, поэтому создавать собственные vision-language модели можно без переписывания кода обучения.

TinyLLaVA_Factory можно использовать бесплатно? Какая у него лицензия?

TinyLLaVA_Factory распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.

TinyLLaVA_Factory всё ещё поддерживается?

Активно поддерживается. Последний коммит в TinyLLaVA_Factory — 19 окт. 2026 г..

Для чего можно использовать TinyLLaVA_Factory?

Обучение компактной vision-language модели на одной GPU для ответов на вопросы по изображениям. Эксперименты с разными языковыми моделями и vision encoder в модульной конфигурации. Дообучение мультимодальной модели на собственном датасете изображений и текста с помощью LoRA. Воспроизведение результатов обучения и оценки компактных LMM.

Как установить TinyLLaVA_Factory?

Клонируйте репозиторий: git clone https://github.com/TinyLLaVA/TinyLLaVA_Factory.git Перейдите в папку проекта: cd TinyLLaVA_Factory Создайте и активируйте окружение conda, затем установите пакет: conda create -n tinyllava_factory python=3.10 -y && conda activate tinyllava_factory && pip install --upgrade pip && pip install -e . Запустите локальную веб-демонстрацию Gradio с предварительно обученной моделью: python tinyllava/serve/app.py --model-path tinyllava/TinyLLaVA-Phi-2-SigLIP-3.1B

Где скачать TinyLLaVA_Factory?

Исходный код и инструкции по установке — на GitHub: https://github.com/TinyLLaVA/TinyLLaVA_Factory