Biblioteca de código abierto de NVIDIA para optimizar la inferencia de LLM y generación visual en GPU NVIDIA, con una API de Python y runtimes en C++ y Python.
14,9 mil+6 esta semana2,9 milPythonOtherActualizado hace 12 horas
flashinfer-ai/flashinfer
Biblioteca y generador de kernels para inferencia de LLM, con APIs unificadas para operaciones de attention, GEMM, MoE y sampling.
- Estrellas
- 6,771
- Forks
- 1,644
- Issues abiertos
- 1,276
- Último commit
- hace 12 horas
¿Qué es?
FlashInfer es una biblioteca de kernels para servir inferencias de LLM. Ofrece APIs unificadas para attention, GEMM, mixture-of-experts, sampling y operadores relacionados. Según el hardware y la carga de trabajo, puede seleccionar entre varias implementaciones de backend, como FlashAttention-2/3, cuDNN, CUTLASS y TensorRT-LLM.
La biblioteca incluye attention sobre KV-caches paginadas y ragged, con fases de decode, prefill y append; MLA attention para modelos DeepSeek; cascade attention para prefijos compartidos; y kernels fusionados de prefill y decode para batching mixto. También incluye GEMM FP8 y FP4, kernels MoE cuantizados, sampling Top-K, Top-P y Min-P sin ordenamiento, y compatibilidad con speculative decoding.
Las GPU compatibles van desde Turing (SM 7.5) hasta Blackwell (SM 12.x). Los kernels se pueden compilar just-in-time en el primer uso o instalar como wheels precompiladas. Entre los motores de inferencia que usan el proyecto se encuentran SGLang, vLLM y TensorRT-LLM.
Funciones clave
- 01Kernels de attention para KV-cache paginada, prefill, decode y MLA
- 02GEMM FP8 y FP4, y kernels MoE fusionados y cuantizados
- 03Sampling Top-K, Top-P y Min-P sin ordenamiento
- 04Speculative decoding y primitivas de comunicación AllReduce/NVLink
- 05Compatible con CUDAGraph y torch.compile
Casos de uso
- Crear o ajustar un motor para servir LLM que necesite kernels optimizados de attention y MoE
- Ejecutar inferencia de baja precisión (FP8/FP4) en GPU Hopper o Blackwell
- Añadir variantes de attention personalizadas mediante kernels compilados JIT
- Comparar el rendimiento de backends de attention en distintas generaciones de GPU
Inicio rápido
- 1
Instala el paquete principal desde PyPI
pip install flashinfer-python - 2
Verifica la instalación y consulta la configuración
flashinfer show-config
Antes de usarlo
- Requiere una GPU NVIDIA con una Compute Capability compatible (SM 7.5 o posterior).
- No todas las funciones son compatibles con todas las Compute Capability.
- Los kernels se compilan o descargan la primera vez que se usan, a menos que se instalen paquetes opcionales precompilados.
En colecciones
Temas
Preguntas frecuentes
- ¿Qué es flashinfer?
- Biblioteca y generador de kernels para inferencia de LLM, con APIs unificadas para operaciones de attention, GEMM, MoE y sampling. FlashInfer es una biblioteca de kernels para servir inferencias de LLM. Ofrece APIs unificadas para attention, GEMM, mixture-of-experts, sampling y operadores relacionados. Según el hardware y la carga de trabajo, puede seleccionar entre varias implementaciones de backend, como FlashAttention-2/3, cuDNN, CUTLASS y TensorRT-LLM.
- ¿flashinfer es gratuito? ¿Qué licencia tiene?
- flashinfer es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿flashinfer sigue mantenido?
- Mantenimiento activo. El último commit de flashinfer fue el 24 oct 2026.
- ¿Para qué puedo usar flashinfer?
- Crear o ajustar un motor para servir LLM que necesite kernels optimizados de attention y MoE Ejecutar inferencia de baja precisión (FP8/FP4) en GPU Hopper o Blackwell Añadir variantes de attention personalizadas mediante kernels compilados JIT Comparar el rendimiento de backends de attention en distintas generaciones de GPU
- ¿Cómo se instala flashinfer?
- Instala el paquete principal desde PyPI: pip install flashinfer-python Verifica la instalación y consulta la configuración: flashinfer show-config
- ¿Dónde consigo flashinfer?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/flashinfer-ai/flashinfer
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
SGLang es un framework de inferencia de código abierto para servir modelos de lenguaje, visión y difusión en diversas plataformas GPU, TPU y CPU.
37,7 mil+106 esta semana9,9 milPythonApache-2.0Actualizado hace 12 horas
Framework de inferencia offline de código abierto de DeepSeek para ejecutar DeepSeek-V4.1-Flash en hardware NVIDIA SM100 y Huawei Ascend 950.
21,8 mil+2 mil esta semana2,5 milPythonApache-2.0Actualizado hace 4 días
Biblioteca de comunicación GPU para dispatch y combine de MoE con paralelismo de expertos, dispatch FP8 y compatibilidad con NVLink/RDMA para entrenamiento e inferencia.
10,3 mil+14 esta semana1,5 milCudaMITActualizado hace 4 días
Implementación oficial de FlashAttention, un kernel de atención exacta y eficiente en memoria para entrenar e inferir con modelos Transformer en GPU.
25,2 mil+15 esta semana3,2 milPythonBSD-3-ClauseActualizado hace 16 horas
Gestor open source de clústeres de GPU que despliega modelos de IA con vLLM, SGLang y TensorRT-LLM, y ofrece instancias de GPU con acceso SSH bajo demanda.
5,9 mil696PythonApache-2.0Actualizado anteayer