基于打补丁 llama.cpp 的启动方案，让 Ternary Bonsai 2 27B 模型在 12 GB 和 8 GB NVIDIA 显卡上运行完整 262k 上下文。
796PythonOther更新于 11小时前
#speculative-decoding
“speculative-decoding” 相关开源项目
与 speculative-decoding 相关的精选 GitHub 开源仓库，附 AI 中文概要与关键数据。
#speculative-decoding
与 speculative-decoding 相关的精选 GitHub 开源仓库，附 AI 中文概要与关键数据。
基于打补丁 llama.cpp 的启动方案，让 Ternary Bonsai 2 27B 模型在 12 GB 和 8 GB NVIDIA 显卡上运行完整 262k 上下文。