“speculative-decoding” 相关开源项目

基于打补丁 llama.cpp 的启动方案，让 Ternary Bonsai 2 27B 模型在 12 GB 和 8 GB NVIDIA 显卡上运行完整 262k 上下文。

通过 USB-C 连接 iPhone 与 Mac，借助手机 GPU 协同本地运行 Qwen 27B 模型，加快提示词读取并扩展上下文。

开源推理引擎，针对你的硬件自动调优内核，让开源模型在 Apple Silicon、NVIDIA、AMD 或纯 CPU 上运行更快。