fla-org/flash-linear-attention

これは何？

主な機能

• 01線形注意、スパース注意、状態空間モデルの各種実装向けTritonカーネル。
• 02MultiScaleRetentionなど、multihead attentionを置き換えるドロップイン型のtoken mixingレイヤー。
• 03設定をカスタマイズできる、Hugging Face Transformers互換のモデルクラス。
• 04任意の深さに標準的なattentionレイヤーを挿入できるハイブリッドモデル。
• 05メモリ使用量を抑え、学習を高速化する融合norm、rotary embedding、cross entropyモジュール。
• 06CUDA、ROCm、XPU、Ascend NPU、CPU向けのバックエンド追加機能。

ユースケース

• 長文脈言語モデルの二次計算量のattentionを、線形注意のバリエーションに置き換える。
• Hugging Face風のワークフローで、劣二次計算量のLLMを事前学習またはファインチューニングする。
• attentionレイヤーとrecurrentレイヤーを組み合わせたハイブリッドアーキテクチャを試す。
• 異なるGPUで線形注意カーネルの速度をベンチマークする。

トピック

よくある質問

flash-linear-attention とは？

線形注意、スパース注意、状態空間モデル、ハイブリッドLLM向けのTritonベースのカーネルと、学習にすぐ使えるレイヤー。 Flash Linear Attention（fla）は、標準的なsoftmax attentionを置き換えたり補完したりする、系列モデル向けのハードウェア効率に優れた部品を提供するPythonライブラリです。Tritonカーネルに加え、GatedDeltaNet、RetNet、GLA、Mamba2などの既製レイヤーや、それらを基盤とする🤗 Transformers互換のモデルクラスを備えています。プロジェクトによると、実装はプラットフォームに依存せず、NVIDIA、AMD、Intelのハードウェアで検証されています。

flash-linear-attention は無料で使えますか？ライセンスは？

flash-linear-attention は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

flash-linear-attention は今もメンテナンスされていますか？

活発にメンテナンス中。flash-linear-attention の最終コミットは 2026年10月20日 です。

flash-linear-attention は何に使えますか？

長文脈言語モデルの二次計算量のattentionを、線形注意のバリエーションに置き換える。 Hugging Face風のワークフローで、劣二次計算量のLLMを事前学習またはファインチューニングする。 attentionレイヤーとrecurrentレイヤーを組み合わせたハイブリッドアーキテクチャを試す。 異なるGPUで線形注意カーネルの速度をベンチマークする。

flash-linear-attention はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/fla-org/flash-linear-attention