「long-context」に関するオープンソースプロジェクト

12 GBおよび8 GBのNVIDIA GPUで、262kコンテキストの1.58-bit Ternary Bonsai 2 27Bを実行するランチャーとパッチ適用済みllama.cpp環境。

12 GBのRTX 4070で、262kトークンのコンテキストウィンドウとq8_0 K/V cacheを使ってMirai S 27B（Qwen3.8-27B GGUF）をサービングする構成です。