Официальная реализация FlashAttention — точного и экономного по памяти attention-ядра для обучения и инференса Transformer-моделей на GPU.
25,2 тыс.3,2 тыс.PythonBSD-3-ClauseОбновлён 9 часов назад
#attention
Open source проекты по теме «attention»
Отобранные репозитории GitHub по теме attention с описаниями от ИИ и ключевыми метриками.
Сортировка:Недавно добавленные
2 репозитория
SGLang — открытый фреймворк для инференса больших языковых и мультимодальных моделей, а также diffusion-моделей на GPU, TPU и CPU разных платформ.
37,5 тыс.9,7 тыс.PythonApache-2.0Обновлён 5 часов назад