Repolode
投稿する
flashinfer-ai

flashinfer-ai/flashinfer

LLM推論向けのGPUカーネルライブラリ兼ジェネレーター。attention、GEMM、MoE、サンプリング操作に統一APIを提供します。

GitHub で見る公式サイト
スター
6,771
フォーク
1,644
未解決の Issue
1,276
最終コミット
11 時間前

これは何？

FlashInferは、LLM推論サービング向けのカーネルライブラリです。attention、GEMM、Mixture-of-Experts、サンプリングなどの演算に統一APIを提供し、ハードウェアやワークロードに応じてFlashAttention-2/3、cuDNN、CUTLASS、TensorRT-LLMなど複数のバックエンド実装を使い分けます。

ページング形式およびragged形式のKV-cacheに対するattentionを扱い、decode、prefill、appendの各フェーズに対応します。さらに、DeepSeekモデル向けのMLA attention、共有prefix向けのcascade attention、混合バッチ向けのprefillとdecodeを融合したカーネルも備えています。FP8およびFP4のGEMM、量子化MoEカーネル、ソート不要のTop-K・Top-P・Min-Pサンプリング、speculative decodingにも対応します。

対応GPUはTuring（SM 7.5）からBlackwell（SM 12.x）までです。カーネルは初回使用時にJITコンパイルすることも、コンパイル済みwheelとしてインストールすることもできます。採用している推論エンジンとして、SGLang、vLLM、TensorRT-LLMが挙げられています。

主な機能

  • 01ページング形式のKV-cache、prefill、decode、MLA向けのattentionカーネル
  • 02FP8およびFP4のGEMMと、量子化された融合MoEカーネル
  • 03ソート不要のTop-K、Top-P、Min-Pサンプリング
  • 04speculative decodingとAllReduce/NVLink通信プリミティブ
  • 05CUDAGraphおよびtorch.compileに対応

ユースケース

  • 最適化されたattentionカーネルやMoEカーネルを必要とするLLMサービングエンジンの構築・チューニング
  • HopperまたはBlackwell GPUでの低精度（FP8/FP4）推論
  • JITコンパイルカーネルによる独自のattentionバリエーションの追加
  • 異なる世代のGPUでのattentionバックエンドのベンチマーク

クイックスタート

  1. 1

    PyPIからコアパッケージをインストールする

    pip install flashinfer-python
  2. 2

    インストールを確認し、設定を表示する

    flashinfer show-config

使う前に知っておきたいこと

  • 対応するCompute Capability（SM 7.5以降）を備えたNVIDIA GPUが必要です。
  • すべてのCompute Capabilityで、すべての機能がサポートされるわけではありません。
  • オプションのプリコンパイル済みパッケージをインストールしていない場合、カーネルは初回使用時にコンパイルまたはダウンロードされます。

収録されている特集

LLM をローカルで動かすGPU で AI を学習・実行するツール

トピック

#llm-inference#cuda#gpu#attention#moe#kernels#pytorch#distributed-inference#jit#large-large-models

よくある質問

flashinfer とは？
LLM推論向けのGPUカーネルライブラリ兼ジェネレーター。attention、GEMM、MoE、サンプリング操作に統一APIを提供します。 FlashInferは、LLM推論サービング向けのカーネルライブラリです。attention、GEMM、Mixture-of-Experts、サンプリングなどの演算に統一APIを提供し、ハードウェアやワークロードに応じてFlashAttention-2/3、cuDNN、CUTLASS、TensorRT-LLMなど複数のバックエンド実装を使い分けます。
flashinfer は無料で使えますか？ライセンスは？
flashinfer は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
flashinfer は今もメンテナンスされていますか？
活発にメンテナンス中。flashinfer の最終コミットは 2026年10月24日 です。
flashinfer は何に使えますか？
最適化されたattentionカーネルやMoEカーネルを必要とするLLMサービングエンジンの構築・チューニング HopperまたはBlackwell GPUでの低精度（FP8/FP4）推論 JITコンパイルカーネルによる独自のattentionバリエーションの追加 異なる世代のGPUでのattentionバックエンドのベンチマーク
flashinfer のインストール方法は？
PyPIからコアパッケージをインストールする: pip install flashinfer-python インストールを確認し、設定を表示する: flashinfer show-config
flashinfer はどこで入手できますか？
ソースコードとインストール手順は GitHub にあります：https://github.com/flashinfer-ai/flashinfer

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト