12 GBおよび8 GBのNVIDIA GPUで、262kコンテキストの1.58-bit Ternary Bonsai 2 27Bを実行するランチャーとパッチ適用済みllama.cpp環境。
796PythonOther更新 12 時間前
#speculative-decoding
speculative-decoding に関連する厳選 GitHub リポジトリ。AI による概要と主要な指標を掲載しています。
12 GBおよび8 GBのNVIDIA GPUで、262kコンテキストの1.58-bit Ternary Bonsai 2 27Bを実行するランチャーとパッチ適用済みllama.cpp環境。