「bonsai」に関するオープンソースプロジェクト

12 GBおよび8 GBのNVIDIA GPUで、262kコンテキストの1.58-bit Ternary Bonsai 2 27Bを実行するランチャーとパッチ適用済みllama.cpp環境。