Repolode
Предложить
flashinfer-ai

flashinfer-ai/flashinfer

Библиотека GPU-ядер и генератор для инференса LLM с унифицированными API для attention, GEMM, MoE и сэмплирования.

Открыть на GitHubСайт
Звёзды
6,771
Форки
1,644
Открытые issues
1,276
Последний коммит
12 часов назад

Что это?

FlashInfer — библиотека ядер для обслуживания запросов на инференс LLM. Она предоставляет унифицированные API для attention, GEMM, mixture-of-experts, сэмплирования и связанных операторов, а также может выбирать одну из нескольких реализаций бэкенда — например, FlashAttention-2/3, cuDNN, CUTLASS и TensorRT-LLM — в зависимости от оборудования и рабочей нагрузки.

Библиотека поддерживает attention с постраничными и ragged KV-кешами, включая фазы decode, prefill и append, attention MLA для моделей DeepSeek, каскадный attention для общих префиксов и объединённые ядра prefill-plus-decode для смешанного батчинга. В неё также входят GEMM для FP8 и FP4, квантованные ядра MoE, сэмплирование Top-K, Top-P и Min-P без сортировки и поддержка speculative decoding.

Поддерживаются GPU от Turing (SM 7.5) до Blackwell (SM 12.x). Ядра можно компилировать JIT при первом использовании или установить в виде предварительно скомпилированных wheels. Среди использующих библиотеку движков инференса проект указывает SGLang, vLLM и TensorRT-LLM.

Ключевые возможности

  • 01Ядра attention для постраничного KV-кеша, prefill, decode и MLA
  • 02GEMM для FP8 и FP4, а также квантованные объединённые ядра MoE
  • 03Сэмплирование Top-K, Top-P и Min-P без сортировки
  • 04Speculative decoding и примитивы коммуникации AllReduce/NVLink
  • 05Совместимость с CUDAGraph и torch.compile

Сценарии использования

  • Создание или настройка движка обслуживания запросов LLM, которому нужны оптимизированные ядра attention и MoE
  • Инференс с низкой точностью (FP8/FP4) на GPU Hopper или Blackwell
  • Добавление собственных вариантов attention с помощью JIT-компилируемых ядер
  • Сравнение бэкендов attention на GPU разных поколений

Быстрый старт

  1. 1

    Установите основной пакет из PyPI

    pip install flashinfer-python
  2. 2

    Проверьте установку и просмотрите конфигурацию

    flashinfer show-config

Что важно знать

  • Требуется GPU NVIDIA с поддерживаемой Compute Capability (SM 7.5 или новее).
  • Не все функции поддерживаются на всех версиях Compute Capability.
  • При первом использовании ядра компилируются или загружаются, если не установлены дополнительные предварительно скомпилированные пакеты.

В подборках

Запуск LLM локальноОбучение и запуск ИИ на GPU

Темы

#llm-inference#cuda#gpu#attention#moe#kernels#pytorch#distributed-inference#jit#large-large-models

Частые вопросы

Что такое flashinfer?
Библиотека GPU-ядер и генератор для инференса LLM с унифицированными API для attention, GEMM, MoE и сэмплирования. FlashInfer — библиотека ядер для обслуживания запросов на инференс LLM. Она предоставляет унифицированные API для attention, GEMM, mixture-of-experts, сэмплирования и связанных операторов, а также может выбирать одну из нескольких реализаций бэкенда — например, FlashAttention-2/3, cuDNN, CUTLASS и TensorRT-LLM — в зависимости от оборудования и рабочей нагрузки.
flashinfer можно использовать бесплатно? Какая у него лицензия?
flashinfer распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
flashinfer всё ещё поддерживается?
Активно поддерживается. Последний коммит в flashinfer — 24 окт. 2026 г..
Для чего можно использовать flashinfer?
Создание или настройка движка обслуживания запросов LLM, которому нужны оптимизированные ядра attention и MoE Инференс с низкой точностью (FP8/FP4) на GPU Hopper или Blackwell Добавление собственных вариантов attention с помощью JIT-компилируемых ядер Сравнение бэкендов attention на GPU разных поколений
Как установить flashinfer?
Установите основной пакет из PyPI: pip install flashinfer-python Проверьте установку и просмотрите конфигурацию: flashinfer show-config
Где скачать flashinfer?
Исходный код и инструкции по установке — на GitHub: https://github.com/flashinfer-ai/flashinfer

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты