Luce-Org / luceboxGitHub面向消费级 GPU 与异构机器的 C++ 大模型推理服务,结合投机解码、投机预填充与定制内核。AI 与机器学习#llm-inference#speculative-decoding#cuda#rocm#local-ai2954+3 本周286C++Apache-2.0更新于 19小时前