Repolode
Enviar
2U1

2U1/Qwen-VL-Series-Finetune

Scripts de treinamento para ajustar a família de modelos de visão e linguagem Qwen-VL (Qwen2-VL, Qwen2.5-VL, Qwen3-VL e Qwen3.5) com Hugging Face e Liger-Kernel.

Ver no GitHub
Estrelas
1,980
Forks
223
Issues abertas
57
Último commit
há 2 meses

O que é?

Este projeto fornece scripts de treinamento para adaptar modelos de visão e linguagem da série Qwen-VL a dados personalizados. Abrange Qwen2-VL, Qwen2.5-VL, Qwen3-VL e Qwen3.5, usando Hugging Face Transformers e Liger-Kernel, sem depender de um framework de treinamento separado.

Os scripts oferecem suporte a fine-tuning completo, LoRA e QLoRA, DoRA, DeepSpeed ZeRO e ao congelamento ou descongelamento separado da torre de visão e das camadas do modelo de linguagem. Os dados de treinamento seguem o formato de conversas do LLaVA e podem incluir amostras com uma imagem, várias imagens, vídeos e modalidades mistas. Além do fine-tuning supervisionado, o repositório inclui DPO, GRPO com funções de recompensa personalizadas e treinamento para classificação com várias opções de loss.

O projeto também documenta o treinamento com traces de raciocínio para os modelos compatíveis Qwen3-VL Thinking e Qwen3.5, a avaliação baseada em geração durante o treinamento, uma demo em Gradio para inferência e uma imagem Docker com ambiente pré-configurado.

Recursos principais

  • 01Fine-tuning completo, LoRA, QLoRA e DoRA para modelos Qwen-VL.
  • 02Treinamento em conjuntos de dados com uma imagem, várias imagens, vídeos e modalidades mistas, no formato LLaVA.
  • 03Otimização por preferências (DPO) e GRPO com funções de recompensa definidas pelo usuário.
  • 04Fine-tuning para classificação com variantes de cross-entropy ou focal loss.
  • 05Taxas de aprendizado e controles de congelamento separados para os módulos de visão e linguagem.
  • 06Suporte a DeepSpeed ZeRO e aceleração com Liger-Kernel.

Casos de uso

  • Adaptar um modelo Qwen2.5-VL ou Qwen3-VL a um conjunto de dados específico de um domínio para responder a perguntas sobre imagens.
  • Treinar um modelo de compreensão de vídeos usando clipes associados a descrições em texto.
  • Criar um classificador de imagens usando uma base Qwen-VL.
  • Executar ajustes no estilo de aprendizado por reforço, com recompensas personalizadas, em um modelo de visão e linguagem.

Início rápido

  1. 1

    Instale os pacotes Python de requirements.txt

    pip install -r requirements.txt -f https://download.pytorch.org/whl/cu128
  2. 2

    Instale qwen-vl-utils

    pip install qwen-vl-utils
  3. 3

    Instale flash-attn depois dos outros pacotes

    pip install flash-attn --no-build-isolation

Antes de usar

  • A configuração de treinamento pressupõe Ubuntu com uma GPU Nvidia recente e CUDA 12.8.
  • Flash Attention 2 é instável no Qwen3.5, então o README recomenda desativá-lo.
  • QLoRA não pode ser combinado com treinamento de visão nem com Liger-Kernel.

Tópicos

#multimodal#vision-language-model#fine-tuning#lora#qwen#deepspeed#llm-training#qwen2-5-vl#qwen2-vl#qwen3-5

Perguntas frequentes

O que é Qwen-VL-Series-Finetune?
Scripts de treinamento para ajustar a família de modelos de visão e linguagem Qwen-VL (Qwen2-VL, Qwen2.5-VL, Qwen3-VL e Qwen3.5) com Hugging Face e Liger-Kernel. Este projeto fornece scripts de treinamento para adaptar modelos de visão e linguagem da série Qwen-VL a dados personalizados. Abrange Qwen2-VL, Qwen2.5-VL, Qwen3-VL e Qwen3.5, usando Hugging Face Transformers e Liger-Kernel, sem depender de um framework de treinamento separado.
Qwen-VL-Series-Finetune é gratuito? Qual é a licença?
Qwen-VL-Series-Finetune é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
Qwen-VL-Series-Finetune ainda é mantido?
Atualizado nos últimos 6 meses. O último commit de Qwen-VL-Series-Finetune foi em 9 de set. de 2026.
Para que posso usar Qwen-VL-Series-Finetune?
Adaptar um modelo Qwen2.5-VL ou Qwen3-VL a um conjunto de dados específico de um domínio para responder a perguntas sobre imagens. Treinar um modelo de compreensão de vídeos usando clipes associados a descrições em texto. Criar um classificador de imagens usando uma base Qwen-VL. Executar ajustes no estilo de aprendizado por reforço, com recompensas personalizadas, em um modelo de visão e linguagem.
Como instalar Qwen-VL-Series-Finetune?
Instale os pacotes Python de requirements.txt: pip install -r requirements.txt -f https://download.pytorch.org/whl/cu128 Instale qwen-vl-utils: pip install qwen-vl-utils Instale flash-attn depois dos outros pacotes: pip install flash-attn --no-build-isolation
Onde consigo Qwen-VL-Series-Finetune?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/2U1/Qwen-VL-Series-Finetune

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados