lucidrains/vit-pytorch

Что это?

Ключевые возможности

• 01Реализует исходный Vision Transformer с конструктором, в котором можно настроить размер изображения, размер патча и глубину модели.
• 02Предоставляет множество вариантов ViT, например Simple ViT, DeepViT, CaiT, CCT, MaxViT и XCiT.
• 03Включает модули предобучения на изображениях с масками, такие как MAE, SimMIM и предсказание замаскированных позиций.
• 04Поддерживает дистилляцию знаний из учительской сети в ViT.
• 05Поддерживает видео на входе благодаря 3D ViT, ViViT и 3D CCT.

Сценарии использования

• Эксперименты с архитектурами трансформеров для классификации изображений на PyTorch.
• Изучение того, как разные варианты ViT меняют устройство attention и понижающей дискретизации.
• Предобучение Vision Transformer на неразмеченных изображениях с помощью маскированного автокодирования.
• Создание прототипов моделей для классификации видео с факторизованным пространственно-временным attention.

Быстрый старт

1. 1

   Установите пакет из PyPI

   pip install vit-pytorch
2. 2

   Импортируйте ViT, создайте модель и выполните прямой проход на случайном изображении

Что важно знать

• !В README нет весов предварительно обученных моделей; необходимо обучить модели самостоятельно или воспользоваться внешним репозиторием с чекпойнтами.

Темы

Частые вопросы

Что такое vit-pytorch?

Реализация Vision Transformer (ViT) на PyTorch и множества его вариантов для классификации изображений и других задач компьютерного зрения. vit-pytorch — библиотека на Python с реализацией Vision Transformer, который классифицирует изображения с помощью одного трансформерного энкодера, применяемого к патчам изображения. Помимо исходной модели, в репозитории собраны многочисленные последующие архитектуры, включая Simple ViT, NaViT, DeepViT, CaiT, CCT, CrossViT, MaxViT, MobileViT и XCiT. Каждую из них можно использовать через короткий импорт и конструктор с настраиваемыми глубиной, числом голов и размерностями.

vit-pytorch можно использовать бесплатно? Какая у него лицензия?

vit-pytorch распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.

vit-pytorch всё ещё поддерживается?

Активно поддерживается. Последний коммит в vit-pytorch — 13 окт. 2026 г..

Для чего можно использовать vit-pytorch?

Эксперименты с архитектурами трансформеров для классификации изображений на PyTorch. Изучение того, как разные варианты ViT меняют устройство attention и понижающей дискретизации. Предобучение Vision Transformer на неразмеченных изображениях с помощью маскированного автокодирования. Создание прототипов моделей для классификации видео с факторизованным пространственно-временным attention.

Как установить vit-pytorch?

Установите пакет из PyPI: pip install vit-pytorch Импортируйте ViT, создайте модель и выполните прямой проход на случайном изображении

Где скачать vit-pytorch?

Исходный код и инструкции по установке — на GitHub: https://github.com/lucidrains/vit-pytorch