微软开源的 Python 库，通过删除提示词中的非关键 token 压缩 LLM 提示和 KV 缓存，最高可压缩 20 倍。
6767444PythonMIT更新于 上个月
#inference-optimization
“inference-optimization” 相关开源项目
与 inference-optimization 相关的精选 GitHub 开源仓库，附 AI 中文概要与关键数据。
#inference-optimization
与 inference-optimization 相关的精选 GitHub 开源仓库，附 AI 中文概要与关键数据。
微软开源的 Python 库，通过删除提示词中的非关键 token 压缩 LLM 提示和 KV 缓存，最高可压缩 20 倍。