Repolode
제출하기
2U1

2U1/Qwen-VL-Series-Finetune

Hugging Face와 Liger-Kernel을 사용해 Qwen-VL 비전-언어 모델 계열(Qwen2-VL, Qwen2.5-VL, Qwen3-VL, Qwen3.5)을 파인튜닝하는 학습 스크립트입니다.

GitHub에서 보기
스타
1,981
포크
223
열린 이슈
57
마지막 커밋
2개월 전

어떤 프로젝트인가요?

이 프로젝트는 Qwen-VL 계열 비전-언어 모델을 사용자 정의 데이터에 맞게 조정하는 학습 스크립트를 제공합니다. Qwen2-VL, Qwen2.5-VL, Qwen3-VL, Qwen3.5를 지원하며, 별도의 학습 프레임워크 대신 Hugging Face Transformers와 Liger-Kernel을 사용합니다.

스크립트는 전체 파인튜닝, LoRA와 QLoRA, DoRA, DeepSpeed ZeRO를 지원하며, 비전 타워와 언어 모델 레이어를 각각 따로 고정하거나 학습하도록 설정할 수 있습니다. 학습 데이터는 LLaVA 대화 형식을 따르며 단일 이미지, 여러 이미지, 동영상, 혼합 모달리티 샘플을 포함할 수 있습니다. 지도 파인튜닝 외에도 DPO, 사용자 정의 보상 함수를 사용하는 GRPO, 여러 손실 옵션을 지원하는 분류 학습 기능을 제공합니다.

또한 지원 대상인 Qwen3-VL Thinking 및 Qwen3.5 모델의 추론 과정 학습, 학습 중 생성 기반 평가, 추론용 Gradio 데모, 사전 빌드된 환경을 갖춘 Docker 이미지에 관한 문서도 포함되어 있습니다.

핵심 기능

  • 01Qwen-VL 모델의 전체 파인튜닝, LoRA, QLoRA 및 DoRA를 지원합니다.
  • 02LLaVA 형식의 단일 이미지, 여러 이미지, 동영상 및 혼합 모달리티 데이터셋으로 학습할 수 있습니다.
  • 03사용자 정의 보상 함수를 사용한 선호도 최적화(DPO)와 GRPO를 지원합니다.
  • 04교차 엔트로피 또는 focal loss 변형을 사용한 분류 파인튜닝을 지원합니다.
  • 05비전 및 언어 모듈에 개별 학습률과 고정 설정을 적용할 수 있습니다.
  • 06DeepSpeed ZeRO 지원과 Liger-Kernel 가속을 제공합니다.

활용 사례

  • Qwen2.5-VL 또는 Qwen3-VL 모델을 특정 도메인의 이미지 질의응답 데이터셋에 맞게 조정합니다.
  • 텍스트 설명이 함께 제공되는 동영상 클립으로 동영상 이해 모델을 학습합니다.
  • Qwen-VL 백본을 기반으로 이미지 분류기를 구축합니다.
  • 비전-언어 모델에 사용자 정의 보상을 적용해 강화 학습 방식으로 튜닝합니다.

빠른 시작

  1. 1

    requirements.txt에서 Python 패키지를 설치합니다

    pip install -r requirements.txt -f https://download.pytorch.org/whl/cu128
  2. 2

    qwen-vl-utils를 설치합니다

    pip install qwen-vl-utils
  3. 3

    다른 패키지를 설치한 다음 flash-attn을 설치합니다

    pip install flash-attn --no-build-isolation

사용 전 알아둘 점

  • 학습 환경은 최신 Nvidia GPU와 CUDA 12.8을 사용하는 Ubuntu를 전제로 합니다.
  • Flash Attention 2는 Qwen3.5에서 불안정하므로 README에서는 비활성화를 권장합니다.
  • QLoRA는 비전 학습 또는 Liger-Kernel과 함께 사용할 수 없습니다.

토픽

#multimodal#vision-language-model#fine-tuning#lora#qwen#deepspeed#llm-training#qwen2-5-vl#qwen2-vl#qwen3-5

자주 묻는 질문

Qwen-VL-Series-Finetune은(는) 무엇인가요?
Hugging Face와 Liger-Kernel을 사용해 Qwen-VL 비전-언어 모델 계열(Qwen2-VL, Qwen2.5-VL, Qwen3-VL, Qwen3.5)을 파인튜닝하는 학습 스크립트입니다. 이 프로젝트는 Qwen-VL 계열 비전-언어 모델을 사용자 정의 데이터에 맞게 조정하는 학습 스크립트를 제공합니다. Qwen2-VL, Qwen2.5-VL, Qwen3-VL, Qwen3.5를 지원하며, 별도의 학습 프레임워크 대신 Hugging Face Transformers와 Liger-Kernel을 사용합니다.
Qwen-VL-Series-Finetune은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
Qwen-VL-Series-Finetune은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
Qwen-VL-Series-Finetune은(는) 아직 유지보수되고 있나요?
6개월 이내 업데이트. Qwen-VL-Series-Finetune의 마지막 커밋은 2026년 9월 9일입니다.
Qwen-VL-Series-Finetune은(는) 어디에 사용할 수 있나요?
Qwen2.5-VL 또는 Qwen3-VL 모델을 특정 도메인의 이미지 질의응답 데이터셋에 맞게 조정합니다. 텍스트 설명이 함께 제공되는 동영상 클립으로 동영상 이해 모델을 학습합니다. Qwen-VL 백본을 기반으로 이미지 분류기를 구축합니다. 비전-언어 모델에 사용자 정의 보상을 적용해 강화 학습 방식으로 튜닝합니다.
Qwen-VL-Series-Finetune는 어떻게 설치하나요?
requirements.txt에서 Python 패키지를 설치합니다: pip install -r requirements.txt -f https://download.pytorch.org/whl/cu128 qwen-vl-utils를 설치합니다: pip install qwen-vl-utils 다른 패키지를 설치한 다음 flash-attn을 설치합니다: pip install flash-attn --no-build-isolation
Qwen-VL-Series-Finetune은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/2U1/Qwen-VL-Series-Finetune

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트