“caching” 相关开源项目

面向 LLM 推理的 KV 缓存管理层，可跨推理引擎存储、共享和复用缓存，降低首 token 延迟。

内存数据存储，可用作缓存、数据结构服务器、文档数据库、向量数据库和消息代理。

可编程的自动化引擎，基于容器构建、测试和发布代码，可在本地、CI 或云端运行。