Repolode
Предложить
2U1

2U1/Qwen-VL-Series-Finetune

Скрипты для дообучения семейства vision-language-моделей Qwen-VL (Qwen2-VL, Qwen2.5-VL, Qwen3-VL, Qwen3.5) с помощью Hugging Face и Liger-Kernel.

Открыть на GitHub
Звёзды
1,981
Форки
223
Открытые issues
57
Последний коммит
2 месяца назад

Что это?

Проект содержит скрипты для адаптации vision-language-моделей серии Qwen-VL к пользовательским данным. Поддерживаются Qwen2-VL, Qwen2.5-VL, Qwen3-VL и Qwen3.5; для обучения используются Hugging Face Transformers и Liger-Kernel, а не отдельный фреймворк.

Скрипты поддерживают полное дообучение, LoRA и QLoRA, DoRA, DeepSpeed ZeRO, а также раздельную настройку заморозки и разморозки vision tower и слоёв языковой модели. Данные для обучения должны соответствовать формату диалогов LLaVA и могут включать примеры с одним или несколькими изображениями, видео и смешанными модальностями. Помимо supervised fine-tuning, в репозитории есть DPO, GRPO с пользовательскими функциями вознаграждения и обучение классификации с несколькими вариантами функций потерь.

Также в документации описано обучение на цепочках рассуждений для поддерживаемых моделей Qwen3-VL Thinking и Qwen3.5, оценка на основе генерации во время обучения, демо на Gradio для инференса и Docker-образ с готовым окружением.

Ключевые возможности

  • 01Полное дообучение, LoRA, QLoRA и DoRA для моделей Qwen-VL.
  • 02Обучение на наборах данных с одним или несколькими изображениями, видео и смешанными модальностями в формате LLaVA.
  • 03Оптимизация предпочтений (DPO) и GRPO с пользовательскими функциями вознаграждения.
  • 04Дообучение для классификации с вариантами cross-entropy или focal loss.
  • 05Раздельные скорости обучения и настройки заморозки для модулей обработки изображений и языка.
  • 06Поддержка DeepSpeed ZeRO и ускорение с помощью Liger-Kernel.

Сценарии использования

  • Адаптация модели Qwen2.5-VL или Qwen3-VL к профильному набору данных для ответов на вопросы по изображениям.
  • Обучение модели для понимания видео на роликах с текстовыми описаниями.
  • Создание классификатора изображений на основе Qwen-VL.
  • Дообучение vision-language-модели в стиле обучения с подкреплением с помощью пользовательских функций вознаграждения.

Быстрый старт

  1. 1

    Установите пакеты Python из requirements.txt

    pip install -r requirements.txt -f https://download.pytorch.org/whl/cu128
  2. 2

    Установите qwen-vl-utils

    pip install qwen-vl-utils
  3. 3

    Установите flash-attn после остальных пакетов

    pip install flash-attn --no-build-isolation

Что важно знать

  • Настройка обучения рассчитана на Ubuntu с современной видеокартой Nvidia и CUDA 12.8.
  • Flash Attention 2 нестабилен в Qwen3.5, поэтому в README рекомендуется отключить его.
  • QLoRA нельзя использовать вместе с обучением зрения или Liger-Kernel.

Темы

#multimodal#vision-language-model#fine-tuning#lora#qwen#deepspeed#llm-training#qwen2-5-vl#qwen2-vl#qwen3-5

Частые вопросы

Что такое Qwen-VL-Series-Finetune?
Скрипты для дообучения семейства vision-language-моделей Qwen-VL (Qwen2-VL, Qwen2.5-VL, Qwen3-VL, Qwen3.5) с помощью Hugging Face и Liger-Kernel. Проект содержит скрипты для адаптации vision-language-моделей серии Qwen-VL к пользовательским данным. Поддерживаются Qwen2-VL, Qwen2.5-VL, Qwen3-VL и Qwen3.5; для обучения используются Hugging Face Transformers и Liger-Kernel, а не отдельный фреймворк.
Qwen-VL-Series-Finetune можно использовать бесплатно? Какая у него лицензия?
Qwen-VL-Series-Finetune распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
Qwen-VL-Series-Finetune всё ещё поддерживается?
Обновлялся за последние 6 месяцев. Последний коммит в Qwen-VL-Series-Finetune — 9 сент. 2026 г..
Для чего можно использовать Qwen-VL-Series-Finetune?
Адаптация модели Qwen2.5-VL или Qwen3-VL к профильному набору данных для ответов на вопросы по изображениям. Обучение модели для понимания видео на роликах с текстовыми описаниями. Создание классификатора изображений на основе Qwen-VL. Дообучение vision-language-модели в стиле обучения с подкреплением с помощью пользовательских функций вознаграждения.
Как установить Qwen-VL-Series-Finetune?
Установите пакеты Python из requirements.txt: pip install -r requirements.txt -f https://download.pytorch.org/whl/cu128 Установите qwen-vl-utils: pip install qwen-vl-utils Установите flash-attn после остальных пакетов: pip install flash-attn --no-build-isolation
Где скачать Qwen-VL-Series-Finetune?
Исходный код и инструкции по установке — на GitHub: https://github.com/2U1/Qwen-VL-Series-Finetune

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты

xming521 / WeClone

Превращает экспортированную историю чатов в дообученную LLM, которая пишет в вашем стиле, и запускает её как чат-бота в Telegram, Discord, Slack или WeChat.

ИИ и машинное обучение#llm#fine-tuning#chatbot
18,4 тыс.+29 за неделю1,5 тыс.PythonAGPL-3.0Активно поддерживаетсяОбновлён 6 часов назад

PaddlePaddle / PaddleFormers

Библиотека в стиле Transformers на базе PaddlePaddle для обучения больших языковых и визуально-языковых моделей с API, совместимым с Hugging Face.

ИИ и машинное обучение#llm#paddlepaddle#transformers
13 тыс.+1 за неделю2,2 тыс.PythonApache-2.0Активно поддерживаетсяОбновлён 17 дней назад

datawhalechina / self-llm

Подборка обучающих материалов на китайском языке по развёртыванию, использованию и дообучению открытых LLM и мультимодальных моделей в Linux: полное дообучение, LoRA и P-tuning.

Обучающие материалы#llm#fine-tuning#lora
32,7 тыс.+68 за неделю3,2 тыс.Jupyter NotebookApache-2.0Обновлён 9 дней назад

ZJU4HealthCare / HealthGPT

Семейство медицинских мультимодальных больших языковых моделей: HealthGPT-Pro понимает медицинские тексты, 2D-изображения и 3D-объёмы, а HealthGPT объединяет понимание и генерацию.

ИИ и машинное обучение#medical-ai#multimodal#vision-language-model
1,7 тыс.+1 за неделю242PythonApache-2.0Обновлён 3 месяца назад