基于打补丁 llama.cpp 的启动方案，让 Ternary Bonsai 2 27B 模型在 12 GB 和 8 GB NVIDIA 显卡上运行完整 262k 上下文。
826PythonOther更新于 20小时前
#bonsai
“bonsai” 相关开源项目
与 bonsai 相关的精选 GitHub 开源仓库，附 AI 中文概要与关键数据。
#bonsai
与 bonsai 相关的精选 GitHub 开源仓库，附 AI 中文概要与关键数据。
基于打补丁 llama.cpp 的启动方案，让 Ternary Bonsai 2 27B 模型在 12 GB 和 8 GB NVIDIA 显卡上运行完整 262k 上下文。