Repolode
제출하기
TinyLLaVA

TinyLLaVA/TinyLLaVA_Factory

소규모 멀티모달(비전-언어) 모델을 구축하고 학습·평가하기 위한 모듈형 PyTorch/Hugging Face 코드베이스입니다.

GitHub에서 보기웹사이트
스타
1,011
포크
100
열린 이슈
114
마지막 커밋
19일 전

어떤 프로젝트인가요?

TinyLLaVA Factory는 비전 인코더와 언어 모델을 결합하는 소규모 멀티모달 모델용 모듈형 코드베이스입니다. LLM, 비전 타워, 커넥터, 학습 레시피를 각각 독립적으로 교체할 수 있도록 구성되어 있어, 학습 코드를 다시 작성하지 않고도 맞춤형 비전-언어 모델을 더 쉽게 구축할 수 있습니다.

이 프레임워크는 OpenELM, TinyLlama, StableLM, Qwen, Gemma, Phi 등의 LLM과 CLIP, SigLIP, DINO 등의 비전 타워, MLP, Q-Former, Resampler 등의 커넥터를 지원합니다. 학습 레시피에는 가중치를 고정하는 방식, 전체·부분 파인튜닝, LoRA, QLoRA가 포함됩니다. 또한 TinyLLaVA-Phi-2-SigLIP-3.1B를 비롯한 여러 사전 학습 모델과 VQA-v2, GQA, TextVQA, MME 등의 벤치마크 결과를 공개합니다.

저장소에는 Gradio 웹 데모, 추론용 CLI, 학습 예제 스크립트, 데이터셋 준비 및 평가 실행 문서가 포함되어 있습니다.

핵심 기능

  • 01맞춤형 멀티모달 모델을 구축할 때 LLM, 비전 타워, 커넥터 구성 요소를 서로 교체할 수 있습니다.
  • 02가중치 고정, 전체·부분 파인튜닝, LoRA, QLoRA 학습 레시피를 제공합니다.
  • 03Phi-2, Gemma, Qwen, TinyLlama와 SigLIP 또는 CLIP 비전 인코더를 기반으로 한 사전 학습 모델을 제공합니다.
  • 04Gradio 웹 데모와 명령줄 추론 도구를 제공합니다.
  • 05데이터 준비 및 평가 워크플로를 문서화했습니다.

활용 사례

  • 단일 GPU에서 이미지 질의응답용 소규모 비전-언어 모델을 학습합니다.
  • 모듈형 구성에서 다양한 언어 모델과 비전 인코더를 시험합니다.
  • LoRA를 사용해 맞춤형 이미지-텍스트 데이터셋으로 멀티모달 모델을 파인튜닝합니다.
  • 소규모 LMM의 학습 및 평가 결과를 재현합니다.

빠른 시작

  1. 1

    저장소를 클론합니다

    git clone https://github.com/TinyLLaVA/TinyLLaVA_Factory.git
  2. 2

    프로젝트 폴더로 이동합니다

    cd TinyLLaVA_Factory
  3. 3

    conda 환경을 만들고 활성화한 다음 패키지를 설치합니다

    conda create -n tinyllava_factory python=3.10 -y && conda activate tinyllava_factory && pip install --upgrade pip && pip install -e .
  4. 4

    사전 학습된 모델로 로컬 Gradio 웹 데모를 실행합니다

    python tinyllava/serve/app.py --model-path tinyllava/TinyLLaVA-Phi-2-SigLIP-3.1B

사용 전 알아둘 점

  • 학습과 대부분의 추론에는 conda 환경과 CUDA GPU가 필요하며, flash-attn은 별도로 빌드해야 합니다.
  • LLaVA와 환경 요구 사항이 다르므로 기존 LLaVA 설정을 그대로 재사용하지 못할 수 있습니다.

포함된 컬렉션

자연어 처리 도구 및 라이브러리

토픽

#large-multimodal-models#vision-language#pytorch#llava#transformers#fine-tuning#llama#nlp#tinyllama

자주 묻는 질문

TinyLLaVA_Factory은(는) 무엇인가요?
소규모 멀티모달(비전-언어) 모델을 구축하고 학습·평가하기 위한 모듈형 PyTorch/Hugging Face 코드베이스입니다. TinyLLaVA Factory는 비전 인코더와 언어 모델을 결합하는 소규모 멀티모달 모델용 모듈형 코드베이스입니다. LLM, 비전 타워, 커넥터, 학습 레시피를 각각 독립적으로 교체할 수 있도록 구성되어 있어, 학습 코드를 다시 작성하지 않고도 맞춤형 비전-언어 모델을 더 쉽게 구축할 수 있습니다.
TinyLLaVA_Factory은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
TinyLLaVA_Factory은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
TinyLLaVA_Factory은(는) 아직 유지보수되고 있나요?
활발히 유지보수 중. TinyLLaVA_Factory의 마지막 커밋은 2026년 10월 19일입니다.
TinyLLaVA_Factory은(는) 어디에 사용할 수 있나요?
단일 GPU에서 이미지 질의응답용 소규모 비전-언어 모델을 학습합니다. 모듈형 구성에서 다양한 언어 모델과 비전 인코더를 시험합니다. LoRA를 사용해 맞춤형 이미지-텍스트 데이터셋으로 멀티모달 모델을 파인튜닝합니다. 소규모 LMM의 학습 및 평가 결과를 재현합니다.
TinyLLaVA_Factory는 어떻게 설치하나요?
저장소를 클론합니다: git clone https://github.com/TinyLLaVA/TinyLLaVA_Factory.git 프로젝트 폴더로 이동합니다: cd TinyLLaVA_Factory conda 환경을 만들고 활성화한 다음 패키지를 설치합니다: conda create -n tinyllava_factory python=3.10 -y && conda activate tinyllava_factory && pip install --upgrade pip && pip install -e . 사전 학습된 모델로 로컬 Gradio 웹 데모를 실행합니다: python tinyllava/serve/app.py --model-path tinyllava/TinyLLaVA-Phi-2-SigLIP-3.1B
TinyLLaVA_Factory은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/TinyLLaVA/TinyLLaVA_Factory

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트