lucidrains/vit-pytorch

어떤 프로젝트인가요?

핵심 기능

• 01이미지 크기, 패치 크기, 깊이를 설정할 수 있는 생성자로 원본 Vision Transformer를 구현합니다.
• 02Simple ViT, DeepViT, CaiT, CCT, MaxViT, XCiT 등 다양한 ViT 변형 모델을 제공합니다.
• 03MAE, SimMIM, masked position prediction 등 마스크 기반 이미지 사전 학습 모듈을 포함합니다.
• 04teacher network의 지식을 ViT로 전달하는 knowledge distillation을 지원합니다.
• 053D ViT, ViViT, 3D CCT를 통해 비디오 입력을 지원합니다.

활용 사례

• PyTorch에서 이미지 분류를 위한 transformer 아키텍처를 실험할 때.
• ViT 변형 모델마다 attention 및 다운샘플링 설계가 어떻게 달라지는지 살펴볼 때.
• 마스크드 오토인코딩으로 레이블이 없는 이미지에 vision transformer를 사전 학습할 때.
• 시공간 attention을 분해한 비디오 분류 모델을 프로토타이핑할 때.

빠른 시작

1. 1

   PyPI에서 패키지를 설치합니다

   pip install vit-pytorch
2. 2

   ViT를 가져와 모델을 생성한 다음 무작위 이미지로 순전파를 실행합니다

사용 전 알아둘 점

• !README에는 사전 학습된 모델 가중치가 제공되지 않습니다. 모델을 직접 학습하거나 체크포인트를 제공하는 외부 저장소를 사용해야 합니다.

토픽

자주 묻는 질문

vit-pytorch은(는) 무엇인가요?

이미지 분류와 관련 비전 작업을 위한 Vision Transformer(ViT) 및 다양한 변형 모델의 PyTorch 구현체입니다. vit-pytorch는 이미지 패치에 단일 transformer encoder를 적용해 이미지를 분류하는 Vision Transformer를 구현한 Python 라이브러리입니다. 원본 모델뿐 아니라 Simple ViT, NaViT, DeepViT, CaiT, CCT, CrossViT, MaxViT, MobileViT, XCiT 등 다양한 후속 아키텍처도 제공합니다. 각 모델은 간단한 import와 깊이, 헤드 수, 차원을 설정할 수 있는 생성자로 사용할 수 있습니다.

vit-pytorch은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

vit-pytorch은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

vit-pytorch은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. vit-pytorch의 마지막 커밋은 2026년 10월 13일입니다.

vit-pytorch은(는) 어디에 사용할 수 있나요?

PyTorch에서 이미지 분류를 위한 transformer 아키텍처를 실험할 때. ViT 변형 모델마다 attention 및 다운샘플링 설계가 어떻게 달라지는지 살펴볼 때. 마스크드 오토인코딩으로 레이블이 없는 이미지에 vision transformer를 사전 학습할 때. 시공간 attention을 분해한 비디오 분류 모델을 프로토타이핑할 때.

vit-pytorch는 어떻게 설치하나요?

PyPI에서 패키지를 설치합니다: pip install vit-pytorch ViT를 가져와 모델을 생성한 다음 무작위 이미지로 순전파를 실행합니다

vit-pytorch은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/lucidrains/vit-pytorch