huggingface/optimum

这是什么？

核心功能

• 01可将 Transformers、Diffusers、TIMM 和 Sentence-Transformers 模型导出为 ONNX 格式。
• 02通过 ORTModel 系列类使用 ONNX Runtime 运行导出的模型。
• 03支持基于 OpenVINO 与 NNCF 的 Intel 硬件优化。
• 04为 Intel Gaudi 和 AWS Trainium 提供 Trainer 封装，用于训练。
• 05通过 Quanto 后端支持 PyTorch 模型量化。

适用场景

• 借助 OpenVINO 在 CPU 或 Intel 硬件上部署 Transformers 模型。
• 将 Hugging Face 模型导出为 ONNX 用于生产推理。
• 在 Intel Gaudi 或 AWS Trainium 实例上微调模型。
• 运行量化后的 PyTorch 模型以降低显存占用。

快速上手

1. 1

   使用 pip 安装 Optimum

   python -m pip install optimum
2. 2

   根据硬件安装对应的加速器依赖（例如 ONNX Runtime）

   pip install --upgrade --upgrade-strategy eager optimum[onnxruntime]

使用前须知

• !加速器功能需要额外安装特定后端依赖并具备相应硬件。
• !部分后端已迁移到独立包，例如 optimum-onnx 和 optimum-executorch。

标签

常见问题

optimum 是什么？

Hugging Face 推出的优化工具包，用于在不同硬件上加速 Transformers 等模型的推理与训练。 Optimum 是 Hugging Face 为 Transformers、Diffusers、TIMM 和 Sentence-Transformers 提供的扩展库，用于在指定硬件上更高效地运行和训练模型。它保留原有的高层 API，只需少量额外步骤即可导出并优化已加载的模型。

optimum 可以免费使用吗？用的什么许可证？

optimum 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。

optimum 还在维护吗？

活跃维护中。optimum 最近一次提交是在 2026年11月2日。

optimum 适合用来做什么？

借助 OpenVINO 在 CPU 或 Intel 硬件上部署 Transformers 模型。 将 Hugging Face 模型导出为 ONNX 用于生产推理。 在 Intel Gaudi 或 AWS Trainium 实例上微调模型。 运行量化后的 PyTorch 模型以降低显存占用。

optimum 怎么安装和运行？

使用 pip 安装 Optimum: python -m pip install optimum 根据硬件安装对应的加速器依赖（例如 ONNX Runtime）: pip install --upgrade --upgrade-strategy eager optimum[onnxruntime]

在哪里获取 optimum？

源代码和安装说明在 GitHub 上：https://github.com/huggingface/optimum