Zefan-Cai/KVCache-Factory

これは何？

主な機能

• 01圧縮、検索、マージ、量子化の各手法を単一のインターフェースにまとめています。
• 02設定可能なcache予算で、LongBench、RULER、needle-in-a-haystackの評価を実行できます。
• 03cache全体を保持するロスレスなヘッド単位のCPUオフロード手法、HeadInferを備えています。
• 04デコード時のレイテンシとピークメモリを測定するベンチマークスクリプトを提供します。
• 05FlashAttention v2とSDPAのattention実装をサポートしています。

ユースケース

• 長文脈ベンチマークでKV cache圧縮手法を比較する。
• PyramidKVや関連するcache予算の実験を再現する。
• 単一GPUでKV cache戦略のメモリとレイテンシのトレードオフを測定する。
• 既存のベースラインと比較しながら、新しいKV cache手法のプロトタイプを作成する。

クイックスタート

1. 1

   リポジトリをクローンする

   git clone https://github.com/Zefan-Cai/KVCache-Factory.git
2. 2

   プロジェクトディレクトリに移動する

   cd KVCache-Factory
3. 3

   依存関係をインストールする

   pip install -r requirements.txt
4. 4

   Python のパスをプロジェクトのルートに設定する

   export PYTHONPATH="$PWD:${PYTHONPATH}"

使う前に知っておきたいこと

• !主な評価実行には、ローカルの Llama または Mistral モデルと GPU が必要です。
• !transformers 4.44.2 に固定されており、attention パッチはバージョンに依存します。
• !一部の新しい手法は、対応する runner とモデルの範囲がより限定されています。
• !バッチ推論はサポートされていません。eval_batch_size は 1 のままにしてください。

トピック

よくある質問

KVCache-Factory とは？

長文脈LLM推論向けのKV cache圧縮、検索、マージ、量子化手法を比較する統合研究環境。 KVCache-Factoryは、複数の自己回帰LLM向けKV cache手法を、単一の評価インターフェースから利用できるようにまとめています。PyramidKVのコードベースとして始まり、現在はStreamingLLM、H2O、SnapKV、Quest、MiniCache、AdaKV、HeadKVなどのベースラインに加え、cache全体を保持するロスレスなHeadInferのオフロード経路も備えています。

KVCache-Factory は無料で使えますか？ライセンスは？

KVCache-Factory は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

KVCache-Factory は今もメンテナンスされていますか？

半年以内に更新あり。KVCache-Factory の最終コミットは 2026年8月13日 です。

KVCache-Factory は何に使えますか？

長文脈ベンチマークでKV cache圧縮手法を比較する。 PyramidKVや関連するcache予算の実験を再現する。 単一GPUでKV cache戦略のメモリとレイテンシのトレードオフを測定する。 既存のベースラインと比較しながら、新しいKV cache手法のプロトタイプを作成する。

KVCache-Factory のインストール方法は？

リポジトリをクローンする: git clone https://github.com/Zefan-Cai/KVCache-Factory.git プロジェクトディレクトリに移動する: cd KVCache-Factory 依存関係をインストールする: pip install -r requirements.txt Python のパスをプロジェクトのルートに設定する: export PYTHONPATH="$PWD:${PYTHONPATH}"

KVCache-Factory はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/Zefan-Cai/KVCache-Factory