Repolode
Enviar
lucidrains

lucidrains/vit-pytorch

Implementação em PyTorch do Vision Transformer (ViT) e de muitas variantes para classificação de imagens e outras tarefas de visão computacional.

Ver no GitHub
Estrelas
25,550
Forks
3,497
Issues abertas
150
Último commit
há 8 dias

O que é?

vit-pytorch é uma biblioteca Python que implementa o Vision Transformer, que classifica imagens aplicando um único encoder Transformer a patches da imagem. Além do modelo original, o repositório reúne muitas arquiteturas derivadas, incluindo Simple ViT, NaViT, DeepViT, CaiT, CCT, CrossViT, MaxViT, MobileViT e XCiT, cada uma disponível por meio de um import simples e de um construtor com profundidade, número de heads e dimensões configuráveis.

A biblioteca também inclui módulos de aprendizado auto-supervisionado e pré-treinamento, como Masked Autoencoder (MAE), SimMIM, predição de patches mascarados e DINO, além de destilação de uma rede teacher para um ViT. As variantes para vídeo incluem 3D ViT e ViViT, que adicionam parâmetros para frames e patches de frames.

O código foi pensado como uma referência legível para criar e experimentar modelos de visão baseados em Transformers. Ele oferece implementações de arquiteturas, mas não pesos pré-treinados; para obter checkpoints pré-treinados, o repositório indica outros projetos.

Recursos principais

  • 01Implementa o Vision Transformer original com um construtor configurável para tamanho da imagem, tamanho dos patches e profundidade.
  • 02Oferece muitas variantes de ViT, como Simple ViT, DeepViT, CaiT, CCT, MaxViT e XCiT.
  • 03Inclui módulos de pré-treinamento com imagens mascaradas, como MAE, SimMIM e predição de posições mascaradas.
  • 04Oferece destilação de conhecimento de uma rede teacher para um ViT.
  • 05Aceita entradas de vídeo por meio de 3D ViT, ViViT e 3D CCT.

Casos de uso

  • Experimentar arquiteturas Transformer para classificação de imagens em PyTorch.
  • Estudar como diferentes variantes de ViT alteram os mecanismos de atenção e os métodos de redução de resolução.
  • Pré-treinar um Vision Transformer com imagens sem rótulos usando autoencoding mascarado.
  • Prototipar modelos de classificação de vídeo com atenção espaço-temporal fatorada.

Início rápido

  1. 1

    Instale o pacote do PyPI

    pip install vit-pytorch
  2. 2

    Importe ViT, crie um modelo e execute uma passagem direta com uma imagem aleatória

Antes de usar

  • O README não fornece pesos de modelos pré-treinados; você precisa treinar os modelos por conta própria ou usar um repositório externo que disponibilize checkpoints.

Tópicos

#vision-transformer#pytorch#image-classification#computer-vision#transformers#deep-learning#artificial-intelligence#attention-mechanism

Perguntas frequentes

O que é vit-pytorch?
Implementação em PyTorch do Vision Transformer (ViT) e de muitas variantes para classificação de imagens e outras tarefas de visão computacional. vit-pytorch é uma biblioteca Python que implementa o Vision Transformer, que classifica imagens aplicando um único encoder Transformer a patches da imagem. Além do modelo original, o repositório reúne muitas arquiteturas derivadas, incluindo Simple ViT, NaViT, DeepViT, CaiT, CCT, CrossViT, MaxViT, MobileViT e XCiT, cada uma disponível por meio de um import simples e de um construtor com profundidade, número de heads e dimensões configuráveis.
vit-pytorch é gratuito? Qual é a licença?
vit-pytorch é open source sob a licença MIT. Confira os termos da licença antes de usá-lo em produtos comerciais.
vit-pytorch ainda é mantido?
Manutenção ativa. O último commit de vit-pytorch foi em 13 de out. de 2026.
Para que posso usar vit-pytorch?
Experimentar arquiteturas Transformer para classificação de imagens em PyTorch. Estudar como diferentes variantes de ViT alteram os mecanismos de atenção e os métodos de redução de resolução. Pré-treinar um Vision Transformer com imagens sem rótulos usando autoencoding mascarado. Prototipar modelos de classificação de vídeo com atenção espaço-temporal fatorada.
Como instalar vit-pytorch?
Instale o pacote do PyPI: pip install vit-pytorch Importe ViT, crie um modelo e execute uma passagem direta com uma imagem aleatória
Onde consigo vit-pytorch?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/lucidrains/vit-pytorch

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados