intel/auto-round

这是什么？

核心功能

• 01支持 W2 至 W8 的仅权重量化，以及 MXFP4、NVFP4、FP8 数据类型。
• 02可导出为 auto_round、AutoAWQ、AutoGPTQ、llm-compressor 和 GGUF 格式。
• 03AutoScheme 可在目标平均比特数下自动生成混合比特量化方案。
• 04支持量化视觉语言模型的文本模块。
• 05支持多 GPU 量化及自定义校准数据集。

适用场景

• 将 7B 至 70B 的 LLM 压缩为 4 比特权重，以便在单张 GPU 上降低推理成本。
• 生成量化权重，供 vLLM 或 SGLang 直接部署。
• 导出 GGUF 文件，用于兼容 llama.cpp 的运行时。
• 在给定显存预算下尝试混合精度量化方案。

快速上手

1. 1

   从 PyPI 安装 auto-round（CPU/CUDA）

   pip install auto-round
2. 2

   使用命令行对模型进行量化

   auto-round --model Qwen/Qwen3-0.6B --scheme "W4A16" --format "auto_round" --output_dir ./tmp_autoround

使用前须知

• !部分功能仍处于实验阶段，例如算法组合，以及没有真实内核支持的 MXFP4 方案。
• !近期版本说明，部分优化可能带来回归或问题。
• !最高精度的配方比默认配置慢数倍。

标签

常见问题

auto-round 是什么？

Intel 开源的 LLM/VLM 训练后量化工具包，可将模型压缩为低比特权重，支持 Transformers、vLLM 和 SGLang。 AutoRound 是面向大语言模型（LLM）和视觉语言模型（VLM）的训练后量化工具包。它通过对权重取整进行符号梯度优化（即 SignRound 方法），在低比特宽度下尽量保持精度，并提供名为 AutoScheme 的自适应混合比特方案生成功能。

auto-round 可以免费使用吗？用的什么许可证？

auto-round 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。

auto-round 还在维护吗？

活跃维护中。auto-round 最近一次提交是在 2026年10月21日。

auto-round 适合用来做什么？

将 7B 至 70B 的 LLM 压缩为 4 比特权重，以便在单张 GPU 上降低推理成本。 生成量化权重，供 vLLM 或 SGLang 直接部署。 导出 GGUF 文件，用于兼容 llama.cpp 的运行时。 在给定显存预算下尝试混合精度量化方案。

auto-round 怎么安装和运行？

从 PyPI 安装 auto-round（CPU/CUDA）: pip install auto-round 使用命令行对模型进行量化: auto-round --model Qwen/Qwen3-0.6B --scheme "W4A16" --format "auto_round" --output_dir ./tmp_autoround

在哪里获取 auto-round？

源代码和安装说明在 GitHub 上：https://github.com/intel/auto-round