Transformer 모델의 GPU 학습과 추론을 위한 메모리 효율적인 exact attention 커널 FlashAttention의 공식 구현입니다.
2.5만3.2천PythonBSD-3-Clause업데이트 12시간 전
#attention
“attention” 관련 오픈소스 프로젝트
attention 관련 엄선 GitHub 저장소. AI 요약과 주요 지표를 함께 제공합니다.
#attention
attention 관련 엄선 GitHub 저장소. AI 요약과 주요 지표를 함께 제공합니다.
Transformer 모델의 GPU 학습과 추론을 위한 메모리 효율적인 exact attention 커널 FlashAttention의 공식 구현입니다.
SGLang은 다양한 GPU, TPU, CPU 플랫폼에서 대규모 언어·비전 언어·디퓨전 모델을 서빙하는 오픈소스 추론 프레임워크입니다.