GPU上でTransformerモデルを学習・推論するための、メモリ効率に優れた厳密なattentionカーネルFlashAttentionの公式実装。
2.5万3175PythonBSD-3-Clause更新 9 時間前
#attention
「attention」に関するオープンソースプロジェクト
attention に関連する厳選 GitHub リポジトリ。AI による概要と主要な指標を掲載しています。
#attention
attention に関連する厳選 GitHub リポジトリ。AI による概要と主要な指標を掲載しています。
GPU上でTransformerモデルを学習・推論するための、メモリ効率に優れた厳密なattentionカーネルFlashAttentionの公式実装。
SGLangは、多様なGPU、TPU、CPU環境で大規模言語モデル、ビジョン言語モデル、拡散モデルを提供するオープンソース推論フレームワークです。