flashinfer은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

flashinfer은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

flashinfer은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. flashinfer의 마지막 커밋은 2026년 10월 24일입니다.

flashinfer은(는) 어디에 사용할 수 있나요?

최적화된 attention 및 MoE 커널이 필요한 LLM 서빙 엔진 구축 또는 튜닝 Hopper 또는 Blackwell GPU에서 저정밀도(FP8/FP4) 추론 실행 JIT 컴파일 커널을 통해 커스텀 attention 변형 추가 서로 다른 GPU 세대에서 attention 백엔드 벤치마킹

flashinfer는 어떻게 설치하나요?

PyPI에서 코어 패키지를 설치합니다: pip install flashinfer-python 설치를 확인하고 구성을 확인합니다: flashinfer show-config

flashinfer은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/flashinfer-ai/flashinfer

flashinfer-ai/flashinfer

LLM 추론을 위한 GPU 커널 라이브러리이자 생성기로, attention, GEMM, MoE, sampling 작업에 통합 API를 제공합니다.

GitHub에서 보기 웹사이트

스타: 6,771
포크: 1,644
열린 이슈: 1,276
마지막 커밋: 12시간 전

어떤 프로젝트인가요?

FlashInfer는 LLM 추론 서빙을 위한 커널 라이브러리입니다. attention, GEMM, mixture-of-experts, sampling 및 관련 연산자에 통합 API를 제공하며, 하드웨어와 워크로드에 따라 FlashAttention-2/3, cuDNN, CUTLASS, TensorRT-LLM 등 여러 백엔드 구현으로 디스패치할 수 있습니다.

이 라이브러리는 decode, prefill, append 단계를 포함해 paged 및 ragged KV-cache를 사용하는 attention을 지원합니다. DeepSeek 모델을 위한 MLA attention, 공유 prefix를 위한 cascade attention, 혼합 배칭을 위한 fused prefill-plus-decode 커널도 제공합니다. 이 밖에도 FP8 및 FP4 GEMM, 양자화된 MoE 커널, 정렬이 필요 없는 Top-K·Top-P·Min-P sampling, speculative decoding 지원 기능이 포함됩니다.

지원 GPU는 Turing(SM 7.5)부터 Blackwell(SM 12.x)까지입니다. 커널은 최초 사용 시 JIT 컴파일하거나 사전 컴파일된 wheel로 설치할 수 있으며, 프로젝트는 이를 사용하는 추론 엔진으로 SGLang, vLLM, TensorRT-LLM을 소개합니다.

핵심 기능

01paged KV-cache, prefill, decode, MLA를 지원하는 attention 커널
02FP8 및 FP4 GEMM과 양자화된 fused MoE 커널
03정렬이 필요 없는 Top-K, Top-P, Min-P sampling
04speculative decoding 및 AllReduce/NVLink 통신 프리미티브
05CUDAGraph 및 torch.compile 호환

활용 사례

최적화된 attention 및 MoE 커널이 필요한 LLM 서빙 엔진 구축 또는 튜닝
Hopper 또는 Blackwell GPU에서 저정밀도(FP8/FP4) 추론 실행
JIT 컴파일 커널을 통해 커스텀 attention 변형 추가
서로 다른 GPU 세대에서 attention 백엔드 벤치마킹

빠른 시작

1
PyPI에서 코어 패키지를 설치합니다
pip install flashinfer-python
2
설치를 확인하고 구성을 확인합니다
flashinfer show-config

사용 전 알아둘 점

지원되는 Compute Capability(SM 7.5 이상)를 갖춘 NVIDIA GPU가 필요합니다.
모든 Compute Capability에서 모든 기능이 지원되는 것은 아닙니다.
선택 사항인 사전 컴파일 패키지를 설치하지 않은 경우, 커널은 처음 사용할 때 컴파일되거나 다운로드됩니다.

포함된 컬렉션

로컬에서 LLM 실행하기 GPU로 AI를 학습하고 실행하는 도구

토픽

#llm-inference #cuda #gpu #attention #moe #kernels #pytorch #distributed-inference #jit #large-large-models

자주 묻는 질문

flashinfer은(는) 무엇인가요?: LLM 추론을 위한 GPU 커널 라이브러리이자 생성기로, attention, GEMM, MoE, sampling 작업에 통합 API를 제공합니다. FlashInfer는 LLM 추론 서빙을 위한 커널 라이브러리입니다. attention, GEMM, mixture-of-experts, sampling 및 관련 연산자에 통합 API를 제공하며, 하드웨어와 워크로드에 따라 FlashAttention-2/3, cuDNN, CUTLASS, TensorRT-LLM 등 여러 백엔드 구현으로 디스패치할 수 있습니다.
flashinfer은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?: flashinfer은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
flashinfer은(는) 아직 유지보수되고 있나요?: 활발히 유지보수 중. flashinfer의 마지막 커밋은 2026년 10월 24일입니다.
flashinfer은(는) 어디에 사용할 수 있나요?: 최적화된 attention 및 MoE 커널이 필요한 LLM 서빙 엔진 구축 또는 튜닝 Hopper 또는 Blackwell GPU에서 저정밀도(FP8/FP4) 추론 실행 JIT 컴파일 커널을 통해 커스텀 attention 변형 추가 서로 다른 GPU 세대에서 attention 백엔드 벤치마킹
flashinfer는 어떻게 설치하나요?: PyPI에서 코어 패키지를 설치합니다: pip install flashinfer-python 설치를 확인하고 구성을 확인합니다: flashinfer show-config
flashinfer은(는) 어디서 받을 수 있나요?: 소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/flashinfer-ai/flashinfer

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.