Repolode
提交项目
2U1

2U1/Qwen-VL-Series-Finetune

基于 Hugging Face 与 Liger-Kernel，微调 Qwen-VL 系列视觉语言模型的训练脚本。

在 GitHub 查看
Star
1,980
Fork
223
未关闭 Issue
57
最近提交
2个月前

这是什么？

这是一套用于微调 Qwen-VL 系列视觉语言模型的训练脚本，覆盖 Qwen2-VL、Qwen2.5-VL、Qwen3-VL 和 Qwen3.5，基于 Hugging Face Transformers 与 Liger-Kernel 实现，不依赖额外的训练框架。

脚本支持全量微调、LoRA 与 QLoRA、DoRA，并可结合 DeepSpeed ZeRO 使用；视觉编码器与语言模型各层的冻结或解冻可以分别控制。训练数据采用 LLaVA 对话格式，可包含单图、多图、视频及混合模态样本。除监督微调外，还提供 DPO、可自定义奖励函数的 GRPO，以及带多种损失函数的分类训练。

项目还包含支持的 Qwen3-VL Thinking 与 Qwen3.5 模型的推理链训练、训练过程中的生成式评估、用于推理的 Gradio 演示界面，以及预装环境的 Docker 镜像。

核心功能

  • 01支持对 Qwen-VL 模型进行全量微调、LoRA、QLoRA 与 DoRA。
  • 02可训练单图、多图、视频及混合模态数据集，数据采用 LLaVA 格式。
  • 03提供 DPO 偏好优化，以及可自定义奖励函数的 GRPO 训练。
  • 04支持分类微调，可选交叉熵或 Focal Loss 等损失函数。
  • 05视觉与语言模块可分别设置学习率并控制冻结或解冻。
  • 06支持 DeepSpeed ZeRO，并可通过 Liger-Kernel 加速训练。

适用场景

  • 将 Qwen2.5-VL 或 Qwen3-VL 模型适配到特定领域的图像问答数据。
  • 基于视频片段与文本描述的配对数据训练视频理解模型。
  • 以 Qwen-VL 为骨干网络构建图像分类器。
  • 在视觉语言模型上使用自定义奖励函数进行强化学习式微调。

快速上手

  1. 1

    从 requirements.txt 安装 Python 依赖

    pip install -r requirements.txt -f https://download.pytorch.org/whl/cu128
  2. 2

    安装 qwen-vl-utils

    pip install qwen-vl-utils
  3. 3

    在其他包之后安装 flash-attn

    pip install flash-attn --no-build-isolation

使用前须知

  • 训练环境假定为 Ubuntu 系统、较新的 Nvidia GPU 并使用 CUDA 12.8。
  • Qwen3.5 上 Flash Attention 2 不稳定，README 建议在该模型上禁用它。
  • QLoRA 不能与视觉训练或 Liger-Kernel 同时使用。

标签

#multimodal#vision-language-model#fine-tuning#lora#qwen#deepspeed#llm-training#qwen2-5-vl#qwen2-vl#qwen3-5

常见问题

Qwen-VL-Series-Finetune 是什么？
基于 Hugging Face 与 Liger-Kernel，微调 Qwen-VL 系列视觉语言模型的训练脚本。 这是一套用于微调 Qwen-VL 系列视觉语言模型的训练脚本，覆盖 Qwen2-VL、Qwen2.5-VL、Qwen3-VL 和 Qwen3.5，基于 Hugging Face Transformers 与 Liger-Kernel 实现，不依赖额外的训练框架。
Qwen-VL-Series-Finetune 可以免费使用吗？用的什么许可证？
Qwen-VL-Series-Finetune 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。
Qwen-VL-Series-Finetune 还在维护吗？
半年内有更新。Qwen-VL-Series-Finetune 最近一次提交是在 2026年9月9日。
Qwen-VL-Series-Finetune 适合用来做什么？
将 Qwen2.5-VL 或 Qwen3-VL 模型适配到特定领域的图像问答数据。 基于视频片段与文本描述的配对数据训练视频理解模型。 以 Qwen-VL 为骨干网络构建图像分类器。 在视觉语言模型上使用自定义奖励函数进行强化学习式微调。
Qwen-VL-Series-Finetune 怎么安装和运行？
从 requirements.txt 安装 Python 依赖: pip install -r requirements.txt -f https://download.pytorch.org/whl/cu128 安装 qwen-vl-utils: pip install qwen-vl-utils 在其他包之后安装 flash-attn: pip install flash-attn --no-build-isolation
在哪里获取 Qwen-VL-Series-Finetune？
源代码和安装说明在 GitHub 上：https://github.com/2U1/Qwen-VL-Series-Finetune

概要由 AI 根据项目 README 生成；GitHub 数据每日更新。

相关项目