Repolode
提交项目
huggingface

huggingface/optimum-quanto

Hugging Face Optimum 的 PyTorch 量化后端，可将模型权重和激活量化到 int2 至 float8。

在 GitHub 查看
Star
1,056
Fork
101
未关闭 Issue
5
最近提交
12天前

这是什么？

Optimum Quanto 是 Hugging Face Optimum 生态中的 PyTorch 量化后端，可将浮点模型转换为更低比特的版本。支持 int2、int4、int8 和 float8 权重，以及 int8 和 float8 激活，模型显存占用大致按位宽比例降低。

该库支持 eager 模式，可处理无法 trace 的模型，量化后的模型可部署在 CUDA、MPS 等设备上。针对 Hugging Face 的 LLM 和 diffusers 管道子模型，它提供了便捷的量化与保存接口；对于原生 PyTorch 模型，则提供低层 API，涵盖量化、校准、量化感知训练、冻结以及基于 safetensors 的序列化。

项目目前处于维护模式，仅接受小型 bug 修复和文档改进。对于需要生产级量化或持续开发的场景，项目推荐使用 bitsandbytes 或 torchAO。与 torch compiler（dynamo）的兼容目前尚未实现。

核心功能

  • 01支持 int2、int4、int8 和 float8 权重，以及 int8 和 float8 激活。
  • 02以 eager 模式运行，可处理无法 trace 的模型。
  • 03量化模型可部署到 CUDA、MPS 等设备。
  • 04提供 Hugging Face LLM 与 diffusers 组件的量化、保存和重新加载接口。
  • 05可序列化为 PyTorch weight_only 格式或 safetensors。

适用场景

  • 将大型 Hugging Face LLM 压缩到显存有限的 GPU 上运行。
  • 量化 diffusers 中的 Transformer 组件（如 PixArt），降低图像生成的显存需求。
  • 使用低层 API 对原生 PyTorch 模型进行量化感知训练。

收录于专题

AI 图像生成工具与 Stable Diffusion 项目

标签

#pytorch#quantization#llm#diffusion-models#model-compression#safetensors#hugging-face#optimum

常见问题

optimum-quanto 是什么？
Hugging Face Optimum 的 PyTorch 量化后端，可将模型权重和激活量化到 int2 至 float8。 Optimum Quanto 是 Hugging Face Optimum 生态中的 PyTorch 量化后端，可将浮点模型转换为更低比特的版本。支持 int2、int4、int8 和 float8 权重，以及 int8 和 float8 激活，模型显存占用大致按位宽比例降低。
optimum-quanto 可以免费使用吗？用的什么许可证？
optimum-quanto 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。
optimum-quanto 还在维护吗？
活跃维护中。optimum-quanto 最近一次提交是在 2026年10月26日。
optimum-quanto 适合用来做什么？
将大型 Hugging Face LLM 压缩到显存有限的 GPU 上运行。 量化 diffusers 中的 Transformer 组件（如 PixArt），降低图像生成的显存需求。 使用低层 API 对原生 PyTorch 模型进行量化感知训练。
在哪里获取 optimum-quanto？
源代码和安装说明在 GitHub 上：https://github.com/huggingface/optimum-quanto

概要由 AI 根据项目 README 生成；GitHub 数据每日更新。

相关项目