Repolode
jingyaogong

jingyaogong/minimind-v

단일 GPU에서 약 2시간 만에 처음부터 학습할 수 있는, 약 6,500만 파라미터 규모의 작은 오픈소스 비전-언어 모델입니다.

스타
8,775
포크
983
열린 이슈
22
마지막 커밋
30일 전

어떤 프로젝트인가요?

MiniMind-V는 비전 인코더와 소형 언어 모델을 결합해 이미지에 관한 질문에 답하는 작은 멀티모달 모델입니다. 프로젝트는 순수 PyTorch로 모델 구조, 데이터셋 준비, 사전 학습, 지도 미세 조정부터 추론과 WebUI까지 전체 파이프라인을 제공합니다.

비전 인코더로는 고정된 상태로 유지되는 SigLIP2를 사용하며, 작은 MLP 프로젝터가 64개의 패치 특징을 언어 모델의 토큰 공간으로 매핑합니다. 언어 모델의 기반은 함께 제공되는 MiniMind 텍스트 모델로 초기화하고, 미세 조정 시에는 프로젝터와 LLM의 첫 번째 및 마지막 레이어만 업데이트합니다. 공개된 모델에는 dense 6,500만 파라미터 버전과 mixture-of-experts 버전이 있습니다.

이 저장소는 비전-언어 모델의 구성 방식을 익히는 데 초점을 맞추며, 멀티 GPU DDP 학습, bfloat16 혼합 정밀도, 체크포인트 재개, wandb 또는 SwanLab 로깅을 지원합니다. 출력은 대략적인 수준으로 반복이 눈에 띄고 세부 묘사가 부정확하므로, 프로덕션보다는 실험에 적합합니다.

핵심 기능

  • 01단일 GPU에서 처음부터 6,500만 파라미터 VLM을 학습할 수 있으며, 문서화된 SFT 워크플로를 제공합니다.
  • 02고정된 SigLIP2 비전 인코더와 이미지 토큰 64개를 LLM에 매핑하는 MLP 프로젝터를 사용합니다.
  • 03dense 및 mixture-of-experts 모델 버전을 제공합니다.
  • 04Parquet 이미지-텍스트 데이터셋을 위한 데이터 준비 스크립트를 포함합니다.
  • 05DDP 멀티 GPU 학습, bfloat16, 체크포인트 재개, wandb 또는 SwanLab 로깅을 지원합니다.
  • 06명령줄 평가 도구와 이미지에 관해 대화할 수 있는 WebUI를 제공합니다.

활용 사례

  • 비전 인코더, 프로젝터, LLM을 조합해 비전-언어 모델을 구성하는 방법을 학습합니다.
  • 일반 소비자용 GPU 한 대에서 소규모 멀티모달 학습 실험을 진행합니다.
  • 간결하고 읽기 쉬운 코드베이스로 이미지 질의응답을 프로토타이핑합니다.
  • 작은 VLM을 사용자 지정 이미지-텍스트 데이터셋에 맞게 조정하는 기반으로 활용합니다.

토픽

자주 묻는 질문

minimind-v은(는) 무엇인가요?
단일 GPU에서 약 2시간 만에 처음부터 학습할 수 있는, 약 6,500만 파라미터 규모의 작은 오픈소스 비전-언어 모델입니다. MiniMind-V는 비전 인코더와 소형 언어 모델을 결합해 이미지에 관한 질문에 답하는 작은 멀티모달 모델입니다. 프로젝트는 순수 PyTorch로 모델 구조, 데이터셋 준비, 사전 학습, 지도 미세 조정부터 추론과 WebUI까지 전체 파이프라인을 제공합니다.
minimind-v은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
minimind-v은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
minimind-v은(는) 아직 유지보수되고 있나요?
활발히 유지보수 중. minimind-v의 마지막 커밋은 2026년 9월 22일입니다.
minimind-v은(는) 어디에 사용할 수 있나요?
비전 인코더, 프로젝터, LLM을 조합해 비전-언어 모델을 구성하는 방법을 학습합니다. 일반 소비자용 GPU 한 대에서 소규모 멀티모달 학습 실험을 진행합니다. 간결하고 읽기 쉬운 코드베이스로 이미지 질의응답을 프로토타이핑합니다. 작은 VLM을 사용자 지정 이미지-텍스트 데이터셋에 맞게 조정하는 기반으로 활용합니다.
minimind-v은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/jingyaogong/minimind-v

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트