NVIDIA/kvpress

これは何？

主な機能

• 01共通のcompression_ratioインターフェースを備えた、多様なKVキャッシュ圧縮方式（press）
• 02コンテキストのみを圧縮し、チャットテンプレートも処理するカスタムtransformersパイプライン
• 03目標キャッシュサイズを指定できる、実験的なデコード時圧縮
• 04head単位のAdaKVなど、他のスコアラーを組み合わせたり改良したりするラッパーpress
• 05長文脈ベンチマーク用のコマンドライン評価機能と、メモリ使用量・速度を測定するノートブック

ユースケース

• 長い文書のコンテキストを毎回再エンコードせずに、同じ文書について複数の質問に回答する
• 共通のベースラインと比較しながら、新しいKVキャッシュ圧縮アルゴリズムを研究・試作する
• Llama、Qwen、Mistralなどのモデルで、長文脈推論時のGPUメモリ使用量を削減する

クイックスタート

1. 1

   PyPIからインストールする

   pip install kvpress
2. 2

   パイプラインを読み込み、pressを使ってコンテキストを圧縮する

使う前に知っておきたいこと

• !Hugging Face transformersと、それを通じて読み込めるモデルが必要です。大規模モデルでは通常GPUが必要になります。
• !多くのpressは研究手法であり、BlockPressのように、真のchunked-prefill実装ではないものもあります。

トピック

よくある質問

kvpress とは？

NVIDIAによるPythonライブラリ。Hugging Face transformersを基盤に、多彩な圧縮方式を使って推論時のLLM KVキャッシュを圧縮します。 長いコンテキストを扱うLLMの運用にはコストがかかります。キー・バリュー（KV）キャッシュがトークン数に比例して増加するためです。kvpressは、pressと呼ばれるさまざまなKVキャッシュ圧縮方式を実装し、Hugging Face transformers上でベンチマークを行うことでこの課題に対応します。各pressはprefillingフェーズでキャッシュ済みのエントリを削除または変換し、キャッシュをどれだけ保持するかを指定するcompression_ratioを備えています。

kvpress は無料で使えますか？ライセンスは？

kvpress は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

kvpress は今もメンテナンスされていますか？

活発にメンテナンス中。kvpress の最終コミットは 2026年11月6日 です。

kvpress は何に使えますか？

長い文書のコンテキストを毎回再エンコードせずに、同じ文書について複数の質問に回答する 共通のベースラインと比較しながら、新しいKVキャッシュ圧縮アルゴリズムを研究・試作する Llama、Qwen、Mistralなどのモデルで、長文脈推論時のGPUメモリ使用量を削減する

kvpress のインストール方法は？

PyPIからインストールする: pip install kvpress パイプラインを読み込み、pressを使ってコンテキストを圧縮する

kvpress はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/NVIDIA/kvpress