“amd” 相关开源项目

面向 LLM 推理的 KV 缓存管理层，可跨推理引擎存储、共享和复用缓存，降低首 token 延迟。

一个高吞吐、低显存占用的大语言模型推理与服务引擎，提供兼容 OpenAI 的 API。