microsoft/TransformerCompression

这是什么？

核心功能

• 01训练后压缩，通过裁剪权重矩阵缩小嵌入维度。
• 02切片前对每层施加正交变换，保持模型功能不变。
• 03生成更小的稠密权重矩阵，无需自定义算子即可获得加速。
• 04支持基于 LoRA 的恢复微调，并可用贝叶斯优化搜索超参数。
• 05集成 LM Eval Harness 进行评估。
• 06提供适配器接口，便于接入新的 Hugging Face Transformer 架构。

适用场景

• 降低 Phi-2 或 Llama 等模型的显存占用，便于在显存有限的 GPU 上部署。
• 研究大语言模型的训练后压缩方法，复现 SliceGPT 论文结果。
• 通过适配器为新的 Transformer 架构增加 SliceGPT 支持。

快速上手

1. 1

   安装带实验依赖的 slicegpt 包

   pip install -e .[experiment]
2. 2

   在 experiments 目录中，使用 SliceGPT 压缩 microsoft/phi-2 模型

   python run_slicegpt.py --model microsoft/phi-2 --save-dir dir/to/save/sliced_model/in --sparsity 0.25 --device cuda:0 --eval-baseline --no-wandb

使用前须知

• !仅支持 README 中列出的 Hugging Face 模型，其他模型需要编写新的适配器。
• !部分模型需要通过 --hf-token 参数或 HF_TOKEN 环境变量进行 Hugging Face 身份验证。

标签

常见问题

TransformerCompression 是什么？

SliceGPT 是一种训练后压缩方法，通过裁剪权重矩阵的行和列来缩小 Transformer 模型（包括大语言模型）。 SliceGPT 是一种训练后的稀疏化压缩方法，适用于 Transformer 网络，包括大语言模型。它先对每一层施加正交变换，模型输出保持不变，然后依据特征值衰减，裁掉权重矩阵中最不重要的行和列。模型结构保持不变，但嵌入维度被缩小，因此在不做额外代码优化的情况下即可获得加速，并降低显存占用。

TransformerCompression 可以免费使用吗？用的什么许可证？

TransformerCompression 以 MIT 许可证开源。用于商业产品前，请先确认许可证条款。

TransformerCompression 还在维护吗？

半年内有更新。TransformerCompression 最近一次提交是在 2026年9月10日。

TransformerCompression 适合用来做什么？

降低 Phi-2 或 Llama 等模型的显存占用，便于在显存有限的 GPU 上部署。 研究大语言模型的训练后压缩方法，复现 SliceGPT 论文结果。 通过适配器为新的 Transformer 架构增加 SliceGPT 支持。

TransformerCompression 怎么安装和运行？

安装带实验依赖的 slicegpt 包: pip install -e .[experiment] 在 experiments 目录中，使用 SliceGPT 压缩 microsoft/phi-2 模型: python run_slicegpt.py --model microsoft/phi-2 --save-dir dir/to/save/sliced_model/in --sparsity 0.25 --device cuda:0 --eval-baseline --no-wandb

在哪里获取 TransformerCompression？

源代码和安装说明在 GitHub 上：https://github.com/microsoft/TransformerCompression