FlashAttention 官方实现，一种节省显存的精确注意力计算内核，用于 GPU 上 Transformer 模型的训练与推理。
2.5万3175PythonBSD-3-Clause更新于 14小时前
#attention
“attention” 相关开源项目
与 attention 相关的精选 GitHub 开源仓库，附 AI 中文概要与关键数据。
#attention
与 attention 相关的精选 GitHub 开源仓库，附 AI 中文概要与关键数据。
FlashAttention 官方实现，一种节省显存的精确注意力计算内核，用于 GPU 上 Transformer 模型的训练与推理。
SGLang 是一个开源推理框架，用于在多种 GPU、TPU、CPU 等硬件上部署大语言模型、视觉语言模型和扩散模型。