fla-org/flash-linear-attention

Что это?

Ключевые возможности

• 01Ядра Triton для линейного и разреженного внимания, а также вариантов моделей пространства состояний.
• 02Готовые к замене слои смешивания токенов, например MultiScaleRetention, вместо multihead attention.
• 03Совместимые с Hugging Face Transformers классы моделей с настраиваемыми конфигурациями.
• 04Гибридные модели, в которые можно добавлять слои стандартного внимания на выбранных уровнях.
• 05Объединённые модули нормализации, rotary embeddings и cross entropy для снижения расхода памяти и ускорения обучения.
• 06Дополнительные компоненты для CUDA, ROCm, XPU, Ascend NPU и CPU.

Сценарии использования

• Замена квадратичного внимания в языковой модели с длинным контекстом на вариант линейного внимания.
• Предобучение или дообучение LLM со субквадратичной сложностью в стиле рабочего процесса Hugging Face.
• Эксперименты с гибридными архитектурами, сочетающими внимание и рекуррентные слои.
• Сравнение скорости ядер линейного внимания на разных GPU.

Темы

Частые вопросы

Что такое flash-linear-attention?

Ядра на Triton и готовые к обучению слои для линейного и разреженного внимания, моделей пространства состояний и гибридных архитектур LLM. Flash Linear Attention (fla) — библиотека Python с эффективными на уровне оборудования строительными блоками для моделей последовательностей, которые заменяют стандартное softmax-внимание или дополняют его. В библиотеке есть ядра Triton, готовые слои, такие как GatedDeltaNet, RetNet, GLA и Mamba2, а также совместимые с 🤗 Transformers классы моделей, построенные на их основе. По заявлению проекта, реализации не привязаны к конкретной платформе и проверены на оборудовании NVIDIA, AMD и Intel.

flash-linear-attention можно использовать бесплатно? Какая у него лицензия?

flash-linear-attention распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.

flash-linear-attention всё ещё поддерживается?

Активно поддерживается. Последний коммит в flash-linear-attention — 20 окт. 2026 г..

Для чего можно использовать flash-linear-attention?

Замена квадратичного внимания в языковой модели с длинным контекстом на вариант линейного внимания. Предобучение или дообучение LLM со субквадратичной сложностью в стиле рабочего процесса Hugging Face. Эксперименты с гибридными архитектурами, сочетающими внимание и рекуррентные слои. Сравнение скорости ядер линейного внимания на разных GPU.

Где скачать flash-linear-attention?

Исходный код и инструкции по установке — на GitHub: https://github.com/fla-org/flash-linear-attention