lucidrains/vit-pytorch

これは何？

主な機能

• 01画像サイズ、パッチサイズ、深さを指定できるコンストラクターを備え、オリジナルのVision Transformerを実装しています。
• 02Simple ViT、DeepViT、CaiT、CCT、MaxViT、XCiTなど、多数のViT派生モデルを利用できます。
• 03MAE、SimMIM、マスク位置予測など、マスク画像を使った事前学習モジュールを収録しています。
• 04教師ネットワークからViTへの知識蒸留に対応しています。
• 053D ViT、ViViT、3D CCTを通じて動画入力を扱えます。

ユースケース

• PyTorchで画像分類向けのTransformerアーキテクチャを試す。
• ViTの派生モデルによって、Attentionやダウンサンプリングの設計がどう変わるかを調べる。
• マスク付きオートエンコーディングを使い、ラベルなし画像でVision Transformerを事前学習する。
• 時空間Attentionを因子分解した動画分類モデルを試作する。

クイックスタート

1. 1

   PyPIからパッケージをインストールする

   pip install vit-pytorch
2. 2

   ViTをインポートしてモデルを作成し、ランダム画像で順伝播を実行する

使う前に知っておきたいこと

• !READMEには学習済みモデルの重みが含まれていません。自分でモデルを学習するか、チェックポイントを提供する外部リポジトリを利用する必要があります。

トピック

よくある質問

vit-pytorch とは？

画像分類などのビジョンタスク向けに、Vision Transformer（ViT）と多数の派生モデルを実装したPyTorchライブラリです。 vit-pytorchは、画像パッチに適用した単一のTransformerエンコーダで画像を分類するVision Transformerを実装したPythonライブラリです。オリジナルモデルに加えて、Simple ViT、NaViT、DeepViT、CaiT、CCT、CrossViT、MaxViT、MobileViT、XCiTなど、多数の派生アーキテクチャを収録しています。それぞれ短いimport文で利用でき、深さ、ヘッド数、次元を指定してインスタンスを作成できます。

vit-pytorch は無料で使えますか？ライセンスは？

vit-pytorch は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

vit-pytorch は今もメンテナンスされていますか？

活発にメンテナンス中。vit-pytorch の最終コミットは 2026年10月13日 です。

vit-pytorch は何に使えますか？

PyTorchで画像分類向けのTransformerアーキテクチャを試す。 ViTの派生モデルによって、Attentionやダウンサンプリングの設計がどう変わるかを調べる。 マスク付きオートエンコーディングを使い、ラベルなし画像でVision Transformerを事前学習する。 時空間Attentionを因子分解した動画分類モデルを試作する。

vit-pytorch のインストール方法は？

PyPIからパッケージをインストールする: pip install vit-pytorch ViTをインポートしてモデルを作成し、ランダム画像で順伝播を実行する

vit-pytorch はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/lucidrains/vit-pytorch