“long-context” 相关开源项目

基于打补丁 llama.cpp 的启动方案，让 Ternary Bonsai 2 27B 模型在 12 GB 和 8 GB NVIDIA 显卡上运行完整 262k 上下文。

在 12 GB 显存的 RTX 4070 上部署 Mirai S 27B 模型，支持完整 262k 上下文窗口。