Microsoft製のPythonライブラリ。重要度の低いトークンを取り除き、性能をほぼ維持しながらLLMのプロンプトとKV cacheを最大20倍圧縮します。
6767444PythonMIT更新 先月
#inference-optimization
inference-optimization に関連する厳選 GitHub リポジトリ。AI による概要と主要な指標を掲載しています。
Microsoft製のPythonライブラリ。重要度の低いトークンを取り除き、性能をほぼ維持しながらLLMのプロンプトとKV cacheを最大20倍圧縮します。