google-research/vision_transformer

O que é?

Recursos principais

• 01Implementa modelos ViT e MLP-Mixer em JAX e Flax.
• 02Oferece checkpoints pré-treinados com ImageNet e ImageNet-21k.
• 03Inclui uma interface de linha de comando para fazer fine-tuning em conjuntos de dados personalizados via TensorFlow Datasets.
• 04Oferece mais de 50 mil checkpoints de ViT e modelos híbridos com diferentes configurações de aumento de dados.
• 05Inclui notebooks do Colab para exploração, fine-tuning e inferência com LiT.

Casos de uso

• Fazer fine-tuning de um ViT ou Mixer pré-treinado em um conjunto de dados personalizado de classificação de imagens.
• Comparar arquiteturas ViT e MLP-Mixer e suas receitas de treinamento em pesquisas.
• Executar inferência zero-shot de imagem e texto com os modelos LiT disponibilizados.

Início rápido

1. 1

   Verifique se o Python 3.10 ou uma versão mais recente está instalado

2. 2

   Instale o JAX e as dependências para GPU

   pip install -r vit_jax/requirements.txt
3. 3

   Faça o ajuste fino de um modelo ViT-B/16 (pré-treinado com ImageNet-21k) no CIFAR-10

   python -m vit_jax.main --workdir=/tmp/vit-$(date +%s) --config=$(pwd)/vit_jax/configs/vit.py:b16,cifar10 --config.pretrained_dir='gs://vit_models/imagenet21k'

Antes de usar

• !O ajuste fino requer uma GPU ou TPU e, segundo o README, usa todos os aceleradores disponíveis.
• !A configuração de TPU no Colab é lenta; por isso, recomenda-se uma máquina dedicada para conjuntos de dados maiores.
• !Para instalar o JAX e o Flaxformer, é necessário seguir as instruções específicas dos respectivos repositórios.

Em coleções

Tópicos

Perguntas frequentes

O que é vision_transformer?

Código em JAX/Flax e checkpoints pré-treinados para modelos de classificação de imagens Vision Transformer (ViT) e MLP-Mixer de artigos do Google Research. Este repositório disponibiliza o código e checkpoints pré-treinados para Vision Transformer (ViT) e MLP-Mixer, duas arquiteturas de reconhecimento de imagens que processam imagens como sequências de patches de tamanho fixo ou como redes totalmente baseadas em MLP. O projeto acompanha vários artigos do Google Research, incluindo o artigo original sobre ViT, MLP-Mixer, o estudo AugReg sobre o treinamento de ViTs e trabalhos posteriores sobre modelos LiT de imagem e texto zero-shot e treinamento com awareness de sharpness.

vision_transformer é gratuito? Qual é a licença?

vision_transformer é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.

vision_transformer ainda é mantido?

Atualizado nos últimos 6 meses. O último commit de vision_transformer foi em 1 de out. de 2026.

Para que posso usar vision_transformer?

Fazer fine-tuning de um ViT ou Mixer pré-treinado em um conjunto de dados personalizado de classificação de imagens. Comparar arquiteturas ViT e MLP-Mixer e suas receitas de treinamento em pesquisas. Executar inferência zero-shot de imagem e texto com os modelos LiT disponibilizados.

Como instalar vision_transformer?

Verifique se o Python 3.10 ou uma versão mais recente está instalado Instale o JAX e as dependências para GPU: pip install -r vit_jax/requirements.txt Faça o ajuste fino de um modelo ViT-B/16 (pré-treinado com ImageNet-21k) no CIFAR-10: python -m vit_jax.main --workdir=/tmp/vit-$(date +%s) --config=$(pwd)/vit_jax/configs/vit.py:b16,cifar10 --config.pretrained_dir='gs://vit_models/imagenet21k'

Onde consigo vision_transformer?

O código-fonte e as instruções de instalação estão no GitHub: https://github.com/google-research/vision_transformer