Repolode
Enviar
lucidrains

lucidrains/vit-pytorch

Implementación en PyTorch del Vision Transformer (ViT) y muchas de sus variantes para clasificación de imágenes y otras tareas de visión.

Ver en GitHub
Estrellas
25,550
Forks
3,497
Issues abiertos
150
Último commit
hace 8 días

¿Qué es?

vit-pytorch es una biblioteca de Python que implementa el Vision Transformer, que clasifica imágenes aplicando un único encoder Transformer a parches de imagen. Además del modelo original, el repositorio reúne muchas arquitecturas derivadas, como Simple ViT, NaViT, DeepViT, CaiT, CCT, CrossViT, MaxViT, MobileViT y XCiT. Todas se pueden usar con una importación breve y un constructor que permite configurar la profundidad, el número de heads y las dimensiones.

La biblioteca también incluye módulos de aprendizaje autosupervisado y preentrenamiento, como Masked Autoencoder (MAE), SimMIM, predicción de parches enmascarados y DINO, además de destilación desde una red teacher a un ViT. Para video, incluye las variantes 3D ViT y ViViT, que incorporan parámetros para los frames y sus parches.

El código está pensado como una referencia fácil de leer para crear y experimentar con modelos de visión basados en Transformers. Ofrece implementaciones de arquitecturas, no pesos preentrenados, y el repositorio dirige a los usuarios a otros proyectos para obtener checkpoints preentrenados.

Funciones clave

  • 01Implementa el Vision Transformer original con un constructor configurable para el tamaño de imagen, el tamaño de los parches y la profundidad.
  • 02Ofrece muchas variantes de ViT, como Simple ViT, DeepViT, CaiT, CCT, MaxViT y XCiT.
  • 03Incluye módulos de preentrenamiento con imágenes enmascaradas, como MAE, SimMIM y la predicción de posiciones enmascaradas.
  • 04Permite destilar conocimiento desde una red teacher a un ViT.
  • 05Admite entradas de video mediante 3D ViT, ViViT y 3D CCT.

Casos de uso

  • Experimentar con arquitecturas Transformer para clasificación de imágenes en PyTorch.
  • Estudiar cómo las distintas variantes de ViT modifican los diseños de atención y submuestreo.
  • Preentrenar un Vision Transformer con imágenes sin etiquetar mediante autoencoding enmascarado.
  • Crear prototipos de modelos de clasificación de video con atención espacio-temporal factorizada.

Inicio rápido

  1. 1

    Instala el paquete desde PyPI

    pip install vit-pytorch
  2. 2

    Importa ViT, crea un modelo y ejecuta una pasada hacia delante con una imagen aleatoria

Antes de usarlo

  • El README no incluye pesos de modelos preentrenados; debes entrenar los modelos por tu cuenta o usar un repositorio externo que proporcione puntos de control.

Temas

#vision-transformer#pytorch#image-classification#computer-vision#transformers#deep-learning#artificial-intelligence#attention-mechanism

Preguntas frecuentes

¿Qué es vit-pytorch?
Implementación en PyTorch del Vision Transformer (ViT) y muchas de sus variantes para clasificación de imágenes y otras tareas de visión. vit-pytorch es una biblioteca de Python que implementa el Vision Transformer, que clasifica imágenes aplicando un único encoder Transformer a parches de imagen. Además del modelo original, el repositorio reúne muchas arquitecturas derivadas, como Simple ViT, NaViT, DeepViT, CaiT, CCT, CrossViT, MaxViT, MobileViT y XCiT. Todas se pueden usar con una importación breve y un constructor que permite configurar la profundidad, el número de heads y las dimensiones.
¿vit-pytorch es gratuito? ¿Qué licencia tiene?
vit-pytorch es open source bajo la licencia MIT. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿vit-pytorch sigue mantenido?
Mantenimiento activo. El último commit de vit-pytorch fue el 13 oct 2026.
¿Para qué puedo usar vit-pytorch?
Experimentar con arquitecturas Transformer para clasificación de imágenes en PyTorch. Estudiar cómo las distintas variantes de ViT modifican los diseños de atención y submuestreo. Preentrenar un Vision Transformer con imágenes sin etiquetar mediante autoencoding enmascarado. Crear prototipos de modelos de clasificación de video con atención espacio-temporal factorizada.
¿Cómo se instala vit-pytorch?
Instala el paquete desde PyPI: pip install vit-pytorch Importa ViT, crea un modelo y ejecuta una pasada hacia delante con una imagen aleatoria
¿Dónde consigo vit-pytorch?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/lucidrains/vit-pytorch

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados