Repolode
Enviar
flashinfer-ai

flashinfer-ai/flashinfer

Biblioteca de kernels para GPU e gerador para inferência de LLMs, com APIs unificadas para operações de attention, GEMM, MoE e sampling.

Ver no GitHubSite
Estrelas
6,771
Forks
1,644
Issues abertas
1,276
Último commit
há 12 horas

O que é?

FlashInfer é uma biblioteca de kernels para servir inferência de LLMs. Ela oferece APIs unificadas para attention, GEMM, mixture-of-experts, sampling e operadores relacionados, com despacho para diferentes implementações de backend, como FlashAttention-2/3, cuDNN, CUTLASS e TensorRT-LLM, de acordo com o hardware e a carga de trabalho.

A biblioteca oferece attention sobre KV-caches paginados e ragged, incluindo as fases de decode, prefill e append; MLA attention para modelos DeepSeek; cascade attention para prefixos compartilhados; e kernels fundidos de prefill e decode para batching misto. Também inclui GEMM em FP8 e FP4, kernels de MoE quantizados, sampling Top-K, Top-P e Min-P sem ordenação e suporte a speculative decoding.

As GPUs compatíveis vão de Turing (SM 7.5) a Blackwell (SM 12.x). Os kernels podem ser compilados just-in-time no primeiro uso ou instalados como wheels pré-compiladas. O projeto lista SGLang, vLLM e TensorRT-LLM entre os mecanismos de inferência que o utilizam.

Recursos principais

  • 01Kernels de attention para KV-cache paginado, prefill, decode e MLA
  • 02GEMM em FP8 e FP4 e kernels fundidos de MoE quantizados
  • 03Sampling Top-K, Top-P e Min-P sem ordenação
  • 04Speculative decoding e primitivas de comunicação AllReduce/NVLink
  • 05Compatível com CUDAGraph e torch.compile

Casos de uso

  • Desenvolver ou ajustar um mecanismo de serving de LLMs que precise de kernels otimizados de attention e MoE
  • Executar inferência de baixa precisão (FP8/FP4) em GPUs Hopper ou Blackwell
  • Adicionar variantes personalizadas de attention por meio de kernels compilados com JIT
  • Comparar backends de attention em diferentes gerações de GPUs

Início rápido

  1. 1

    Instale o pacote principal do PyPI

    pip install flashinfer-python
  2. 2

    Verifique a instalação e consulte a configuração

    flashinfer show-config

Antes de usar

  • Requer uma GPU NVIDIA com Compute Capability compatível (SM 7.5 ou posterior).
  • Nem todos os recursos são compatíveis com todas as Compute Capabilities.
  • Os kernels são compilados ou baixados no primeiro uso, a menos que pacotes pré-compilados opcionais sejam instalados.

Em coleções

Rode LLMs localmenteTreine e execute IA em GPUs

Tópicos

#llm-inference#cuda#gpu#attention#moe#kernels#pytorch#distributed-inference#jit#large-large-models

Perguntas frequentes

O que é flashinfer?
Biblioteca de kernels para GPU e gerador para inferência de LLMs, com APIs unificadas para operações de attention, GEMM, MoE e sampling. FlashInfer é uma biblioteca de kernels para servir inferência de LLMs. Ela oferece APIs unificadas para attention, GEMM, mixture-of-experts, sampling e operadores relacionados, com despacho para diferentes implementações de backend, como FlashAttention-2/3, cuDNN, CUTLASS e TensorRT-LLM, de acordo com o hardware e a carga de trabalho.
flashinfer é gratuito? Qual é a licença?
flashinfer é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
flashinfer ainda é mantido?
Manutenção ativa. O último commit de flashinfer foi em 24 de out. de 2026.
Para que posso usar flashinfer?
Desenvolver ou ajustar um mecanismo de serving de LLMs que precise de kernels otimizados de attention e MoE Executar inferência de baixa precisão (FP8/FP4) em GPUs Hopper ou Blackwell Adicionar variantes personalizadas de attention por meio de kernels compilados com JIT Comparar backends de attention em diferentes gerações de GPUs
Como instalar flashinfer?
Instale o pacote principal do PyPI: pip install flashinfer-python Verifique a instalação e consulte a configuração: flashinfer show-config
Onde consigo flashinfer?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/flashinfer-ai/flashinfer

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados