「linear-attention」に関するオープンソースプロジェクト

線形注意、スパース注意、状態空間モデル、ハイブリッドLLM向けのTritonベースのカーネルと、学習にすぐ使えるレイヤー。

線形拡散Transformerを用いた高解像度の画像・動画生成向けオープンソースコードベース。学習と推論のパイプラインを備えています。