NEO는 픽셀과 단어를 하나의 인코더 없는 dense 아키텍처로 처리하는 네이티브 VLM 제품군입니다.
jingyaogong/minimind-v
단일 GPU에서 약 2시간 만에 처음부터 학습할 수 있는, 약 6,500만 파라미터 규모의 작은 오픈소스 비전-언어 모델입니다.
- 스타
- 8,775
- 포크
- 983
- 열린 이슈
- 22
- 마지막 커밋
- 30일 전
어떤 프로젝트인가요?
MiniMind-V는 비전 인코더와 소형 언어 모델을 결합해 이미지에 관한 질문에 답하는 작은 멀티모달 모델입니다. 프로젝트는 순수 PyTorch로 모델 구조, 데이터셋 준비, 사전 학습, 지도 미세 조정부터 추론과 WebUI까지 전체 파이프라인을 제공합니다.
비전 인코더로는 고정된 상태로 유지되는 SigLIP2를 사용하며, 작은 MLP 프로젝터가 64개의 패치 특징을 언어 모델의 토큰 공간으로 매핑합니다. 언어 모델의 기반은 함께 제공되는 MiniMind 텍스트 모델로 초기화하고, 미세 조정 시에는 프로젝터와 LLM의 첫 번째 및 마지막 레이어만 업데이트합니다. 공개된 모델에는 dense 6,500만 파라미터 버전과 mixture-of-experts 버전이 있습니다.
이 저장소는 비전-언어 모델의 구성 방식을 익히는 데 초점을 맞추며, 멀티 GPU DDP 학습, bfloat16 혼합 정밀도, 체크포인트 재개, wandb 또는 SwanLab 로깅을 지원합니다. 출력은 대략적인 수준으로 반복이 눈에 띄고 세부 묘사가 부정확하므로, 프로덕션보다는 실험에 적합합니다.
핵심 기능
- 01단일 GPU에서 처음부터 6,500만 파라미터 VLM을 학습할 수 있으며, 문서화된 SFT 워크플로를 제공합니다.
- 02고정된 SigLIP2 비전 인코더와 이미지 토큰 64개를 LLM에 매핑하는 MLP 프로젝터를 사용합니다.
- 03dense 및 mixture-of-experts 모델 버전을 제공합니다.
- 04Parquet 이미지-텍스트 데이터셋을 위한 데이터 준비 스크립트를 포함합니다.
- 05DDP 멀티 GPU 학습, bfloat16, 체크포인트 재개, wandb 또는 SwanLab 로깅을 지원합니다.
- 06명령줄 평가 도구와 이미지에 관해 대화할 수 있는 WebUI를 제공합니다.
활용 사례
- 비전 인코더, 프로젝터, LLM을 조합해 비전-언어 모델을 구성하는 방법을 학습합니다.
- 일반 소비자용 GPU 한 대에서 소규모 멀티모달 학습 실험을 진행합니다.
- 간결하고 읽기 쉬운 코드베이스로 이미지 질의응답을 프로토타이핑합니다.
- 작은 VLM을 사용자 지정 이미지-텍스트 데이터셋에 맞게 조정하는 기반으로 활용합니다.
토픽
자주 묻는 질문
- minimind-v은(는) 무엇인가요?
- 단일 GPU에서 약 2시간 만에 처음부터 학습할 수 있는, 약 6,500만 파라미터 규모의 작은 오픈소스 비전-언어 모델입니다. MiniMind-V는 비전 인코더와 소형 언어 모델을 결합해 이미지에 관한 질문에 답하는 작은 멀티모달 모델입니다. 프로젝트는 순수 PyTorch로 모델 구조, 데이터셋 준비, 사전 학습, 지도 미세 조정부터 추론과 WebUI까지 전체 파이프라인을 제공합니다.
- minimind-v은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
- minimind-v은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
- minimind-v은(는) 아직 유지보수되고 있나요?
- 활발히 유지보수 중. minimind-v의 마지막 커밋은 2026년 9월 22일입니다.
- minimind-v은(는) 어디에 사용할 수 있나요?
- 비전 인코더, 프로젝터, LLM을 조합해 비전-언어 모델을 구성하는 방법을 학습합니다. 일반 소비자용 GPU 한 대에서 소규모 멀티모달 학습 실험을 진행합니다. 간결하고 읽기 쉬운 코드베이스로 이미지 질의응답을 프로토타이핑합니다. 작은 VLM을 사용자 지정 이미지-텍스트 데이터셋에 맞게 조정하는 기반으로 활용합니다.
- minimind-v은(는) 어디서 받을 수 있나요?
- 소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/jingyaogong/minimind-v
요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.
관련 프로젝트
FSDP2, Muon, Liger 커널을 지원하는 통합 멀티모달 모델 학습 엔진
PyTorch와 Triton 기반의 오픈소스 라이브러리로, 3D 병렬 처리와 ZeRO 메모리 최적화, Hugging Face 연동을 지원해 대규모 언어 모델을 학습합니다.
ByteDance의 오픈소스 멀티모달 AI 에이전트 스택으로, CLI/Web UI(Agent TARS)와 데스크톱 GUI 에이전트 앱(UI-TARS Desktop)을 제공합니다.
로컬 및 온디바이스 하드웨어에서 이미지, 동영상, 문서, 음성을 이해하는 오픈소스 멀티모달 모델(MiniCPM-V 4.7 및 MiniCPM-o 4.5).
로봇, 자율주행차, 스마트 인프라의 physical AI 구축을 위한 NVIDIA의 오픈 월드 파운데이션 모델, 데이터셋 및 도구입니다.