Luce-Org / luceboxGitHub推測デコード、推測プリフィル、カスタムカーネルを活用し、コンシューマー向けGPUやAMD/NVIDIA混在環境で動作するC++製LLM推論サーバー。AI・機械学習#llm-inference#speculative-decoding#cuda#rocm#local-ai2954+3 今週286C++Apache-2.0更新 17 時間前