pytorch/ao

这是什么？

核心功能

• 01支持 int4、int8 和 float8 的权重与激活量化，用于推理。
• 02提供量化感知训练（QAT）方案，用于恢复量化后损失的精度。
• 03支持 float8 和 MXFP8 训练，可与 torch.compile 及 FSDP2 配合使用。
• 04提供 8 位、4 位和 fp8 的 AdamW 量化优化器，以及单卡 CPU 卸载以降低显存占用。
• 05与 Hugging Face transformers、diffusers、vLLM、SGLang 和 ExecuTorch 集成。

适用场景

• 使用 int4 或 float8 权重部署大语言模型，降低显存占用和推理延迟。
• 通过 QAT 微调量化模型，减少低比特推理带来的精度损失。
• 在多卡集群上进行大型 Transformer 模型的 float8 预训练。
• 借助 ExecuTorch 将量化模型部署到移动或边缘设备。

快速上手

1. 1

   从 PyPI 安装最新稳定版 TorchAO

   pip install torchao
2. 2

   使用 quantize_ 将模型权重量化为 int4（将 model 替换为你的 PyTorch 模型）

   quantize_(model, Int4WeightOnlyConfig(group_size=32, int4_packing_format="tile_packed_to_4d", int4_choose_qparams_algorithm="hqq"))

使用前须知

• !部分可选内核和训练功能需要额外安装包及特定的 CUDA 版本。
• !Float8 和 MoE 训练功能依赖特定的 GPU 硬件。

标签

常见问题

ao 是什么？

PyTorch 原生的模型量化与优化库，覆盖训练和推理部署。 TorchAO 是直接构建在 PyTorch 之上的量化与模型优化库，提供权重量化、动态量化（包括 int4、int8 和 float8）、量化感知训练（QAT）、float8 与 MXFP8 训练方案、稀疏化，以及可降低优化器显存占用的量化优化器。

ao 可以免费使用吗？用的什么许可证？

ao 以 Other 许可证开源。用于商业产品前，请先确认许可证条款。

ao 还在维护吗？

活跃维护中。ao 最近一次提交是在 2026年10月19日。

ao 适合用来做什么？

使用 int4 或 float8 权重部署大语言模型，降低显存占用和推理延迟。 通过 QAT 微调量化模型，减少低比特推理带来的精度损失。 在多卡集群上进行大型 Transformer 模型的 float8 预训练。 借助 ExecuTorch 将量化模型部署到移动或边缘设备。

ao 怎么安装和运行？

从 PyPI 安装最新稳定版 TorchAO: pip install torchao 使用 quantize_ 将模型权重量化为 int4（将 model 替换为你的 PyTorch 模型）: quantize_(model, Int4WeightOnlyConfig(group_size=32, int4_packing_format="tile_packed_to_4d", int4_choose_qparams_algorithm="hqq"))

在哪里获取 ao？

源代码和安装说明在 GitHub 上：https://github.com/pytorch/ao