Repolode
提交项目
flashinfer-ai

flashinfer-ai/flashinfer

面向 LLM 推理的 GPU 内核库与代码生成器，统一提供注意力、GEMM、MoE 与采样算子接口。

在 GitHub 查看官网
Star
6,771
Fork
1,644
未关闭 Issue
1,276
最近提交
12小时前

这是什么？

FlashInfer 是面向 LLM 推理服务的内核库，为注意力、GEMM、混合专家（MoE）、采样等算子提供统一接口。根据硬件和负载情况，它可以调用 FlashAttention-2/3、cuDNN、CUTLASS、TensorRT-LLM 等多种后端实现。

在注意力方面，库支持基于分页与非分页 KV-Cache 的 decode、prefill 和 append 内核，支持 DeepSeek 的 MLA 注意力、共享前缀的级联注意力，以及 prefill 与 decode 融合的 POD-Attention，适用于混合批处理。此外还包括 FP8、FP4 的 GEMM 与量化 MoE 内核，无需排序的 Top-K、Top-P、Min-P 采样，以及投机解码。

支持的 GPU 覆盖从 Turing（SM 7.5）到 Blackwell（SM 12.x）架构。内核可在首次使用时即时编译，也可通过预编译的 wheel 包安装。项目列出的使用方包括 SGLang、vLLM 和 TensorRT-LLM 等推理引擎。

核心功能

  • 01支持分页 KV-Cache、prefill、decode 及 MLA 注意力内核
  • 02提供 FP8、FP4 GEMM 与量化融合 MoE 内核
  • 03提供无需排序的 Top-K、Top-P、Min-P 采样
  • 04支持投机解码，以及 AllReduce 与 NVLink 通信原语
  • 05兼容 CUDAGraph 与 torch.compile

适用场景

  • 开发或调优需要高性能注意力与 MoE 内核的 LLM 推理引擎
  • 在 Hopper 或 Blackwell GPU 上运行 FP8、FP4 低精度推理
  • 通过 JIT 编译实现自定义注意力变体
  • 在不同代 GPU 之间对比各注意力后端的性能

快速上手

  1. 1

    从 PyPI 安装核心包

    pip install flashinfer-python
  2. 2

    验证安装并查看配置

    flashinfer show-config

使用前须知

  • 需要支持的 NVIDIA GPU（计算能力 SM 7.5 及以上）。
  • 并非所有功能都支持所有计算能力。
  • 除非安装可选的预编译包，否则内核会在首次使用时编译或下载。

收录于专题

本地运行大模型GPU 加速的 AI 训练与推理工具

标签

#llm-inference#cuda#gpu#attention#moe#kernels#pytorch#distributed-inference#jit#large-large-models

常见问题

flashinfer 是什么？
面向 LLM 推理的 GPU 内核库与代码生成器，统一提供注意力、GEMM、MoE 与采样算子接口。 FlashInfer 是面向 LLM 推理服务的内核库，为注意力、GEMM、混合专家（MoE）、采样等算子提供统一接口。根据硬件和负载情况，它可以调用 FlashAttention-2/3、cuDNN、CUTLASS、TensorRT-LLM 等多种后端实现。
flashinfer 可以免费使用吗？用的什么许可证？
flashinfer 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。
flashinfer 还在维护吗？
活跃维护中。flashinfer 最近一次提交是在 2026年10月24日。
flashinfer 适合用来做什么？
开发或调优需要高性能注意力与 MoE 内核的 LLM 推理引擎 在 Hopper 或 Blackwell GPU 上运行 FP8、FP4 低精度推理 通过 JIT 编译实现自定义注意力变体 在不同代 GPU 之间对比各注意力后端的性能
flashinfer 怎么安装和运行？
从 PyPI 安装核心包: pip install flashinfer-python 验证安装并查看配置: flashinfer show-config
在哪里获取 flashinfer？
源代码和安装说明在 GitHub 上：https://github.com/flashinfer-ai/flashinfer

概要由 AI 根据项目 README 生成；GitHub 数据每日更新。

相关项目