Zefan-Cai/KVCache-Factory

这是什么？

核心功能

• 01将压缩、检索、合并和量化等方法统一在同一套接口下。
• 02支持 LongBench、RULER 和大海捞针评测，缓存预算可配置。
• 03包含无损的 HeadInfer 方案，按注意力头在 CPU 与 GPU 间流式传输完整缓存。
• 04提供解码延迟与峰值显存的基准测试脚本。
• 05支持 FlashAttention v2 与 SDPA 两种注意力实现。

适用场景

• 在长上下文基准上比较不同 KV Cache 压缩方法。
• 复现 PyramidKV 及相关的缓存预算实验。
• 在单张 GPU 上测量不同 KV Cache 策略的显存与延迟权衡。
• 在现有基线上快速验证新的 KV Cache 方法。

快速上手

1. 1

   克隆仓库

   git clone https://github.com/Zefan-Cai/KVCache-Factory.git
2. 2

   进入项目目录

   cd KVCache-Factory
3. 3

   安装依赖

   pip install -r requirements.txt
4. 4

   将项目根目录加入 Python 路径

   export PYTHONPATH="$PWD:${PYTHONPATH}"

使用前须知

• !主要评测需要本地的 Llama 或 Mistral 模型以及 GPU。
• !依赖固定为 transformers 4.44.2，注意力补丁对版本敏感。
• !部分较新的方法在运行器和模型上的支持范围较窄。
• !暂不支持批量推理，eval_batch_size 必须保持为 1。

标签

常见问题

KVCache-Factory 是什么？

统一的 KV Cache 压缩方法研究平台，用于长上下文大模型推理的对比评测。 KVCache-Factory 将多种自回归大模型的 KV Cache 方法放在同一套评测接口下。项目起源于 PyramidKV，目前已包含 StreamingLLM、H2O、SnapKV、Quest、MiniCache、AdaKV、HeadKV 等基线方法，并提供保留完整缓存的无损 HeadInfer 卸载方案。

KVCache-Factory 可以免费使用吗？用的什么许可证？

KVCache-Factory 以 MIT 许可证开源。用于商业产品前，请先确认许可证条款。

KVCache-Factory 还在维护吗？

半年内有更新。KVCache-Factory 最近一次提交是在 2026年8月13日。

KVCache-Factory 适合用来做什么？

在长上下文基准上比较不同 KV Cache 压缩方法。 复现 PyramidKV 及相关的缓存预算实验。 在单张 GPU 上测量不同 KV Cache 策略的显存与延迟权衡。 在现有基线上快速验证新的 KV Cache 方法。

KVCache-Factory 怎么安装和运行？

克隆仓库: git clone https://github.com/Zefan-Cai/KVCache-Factory.git 进入项目目录: cd KVCache-Factory 安装依赖: pip install -r requirements.txt 将项目根目录加入 Python 路径: export PYTHONPATH="$PWD:${PYTHONPATH}"

在哪里获取 KVCache-Factory？

源代码和安装说明在 GitHub 上：https://github.com/Zefan-Cai/KVCache-Factory