llm-compressor 可以免费使用吗？用的什么许可证？

llm-compressor 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。

llm-compressor 还在维护吗？

活跃维护中。llm-compressor 最近一次提交是在 2026年10月22日。

llm-compressor 适合用来做什么？

压缩模型显存占用，使其能在更少的 GPU 上通过 vLLM 提供服务。为新发布的开源权重模型生成 FP4 或 FP8 量化版本用于生产推理。在硬件有限的情况下，借助磁盘卸载或 DDP 压缩超大模型。通过 recipe 切换不同量化算法和方案进行对比实验。

在哪里获取 llm-compressor？

源代码和安装说明在 GitHub 上：https://github.com/vllm-project/llm-compressor

vllm-project/llm-compressor

一个用于压缩大语言模型的 Python 库，通过量化和剪枝生成可直接在 vLLM 中推理的模型。

在 GitHub 查看官网

Star: 3,903
Fork: 707
未关闭 Issue: 124
最近提交: 3小时前

这是什么？

LLM Compressor 是一个在使用 vLLM 部署前优化大语言模型的库。它支持对权重、激活值、KV Cache 和注意力进行量化，也能对混合专家（MoE）模型做 REAP 专家剪枝。压缩后的模型以 compressed-tensors 格式保存，vLLM 可以直接加载，无需额外转换。

该库与 Hugging Face 的模型和仓库兼容，提供多种算法，包括朴素的 PTQ（Round-to-Nearest）、GPTQ、AWQ、SmoothQuant、AutoRound，以及 SpinQuant、QuIP 等基于旋转的方法。支持的精度涵盖 FP8、INT8、NVFP4/MXFP4 等微缩放格式，以及 4 位和 8 位的仅权重量化。

针对超大模型，它支持 DDP 分布式量化、顺序加载（sequential onloading）和磁盘卸载，使有限硬件也能完成压缩。常见场景只需调用一次 `oneshot` 并传入 recipe 即可完成量化流程。

核心功能

01支持权重、激活值、KV Cache 和注意力的量化，格式包括 FP8、INT8、NVFP4 和 MXFP4。
02提供 GPTQ、AWQ、SmoothQuant、AutoRound 和 Round-to-Nearest PTQ 等算法。
03输出 compressed-tensors 格式的模型，vLLM 可直接加载。
04兼容 Hugging Face 模型与仓库。
05支持 DDP、顺序加载和磁盘卸载，便于压缩超大模型。
06支持面向 MoE 模型的 REAP 专家剪枝。

适用场景

压缩模型显存占用，使其能在更少的 GPU 上通过 vLLM 提供服务。
为新发布的开源权重模型生成 FP4 或 FP8 量化版本用于生产推理。
在硬件有限的情况下，借助磁盘卸载或 DDP 压缩超大模型。
通过 recipe 切换不同量化算法和方案进行对比实验。

常见问题

llm-compressor 是什么？: 一个用于压缩大语言模型的 Python 库，通过量化和剪枝生成可直接在 vLLM 中推理的模型。 LLM Compressor 是一个在使用 vLLM 部署前优化大语言模型的库。它支持对权重、激活值、KV Cache 和注意力进行量化，也能对混合专家（MoE）模型做 REAP 专家剪枝。压缩后的模型以 compressed-tensors 格式保存，vLLM 可以直接加载，无需额外转换。
llm-compressor 可以免费使用吗？用的什么许可证？: llm-compressor 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。
llm-compressor 还在维护吗？: 活跃维护中。llm-compressor 最近一次提交是在 2026年10月22日。
llm-compressor 适合用来做什么？: 压缩模型显存占用，使其能在更少的 GPU 上通过 vLLM 提供服务。为新发布的开源权重模型生成 FP4 或 FP8 量化版本用于生产推理。在硬件有限的情况下，借助磁盘卸载或 DDP 压缩超大模型。通过 recipe 切换不同量化算法和方案进行对比实验。
在哪里获取 llm-compressor？: 源代码和安装说明在 GitHub 上：https://github.com/vllm-project/llm-compressor

概要由 AI 根据项目 README 生成；GitHub 数据每日更新。