neural-compressor 可以免费使用吗？用的什么许可证？

neural-compressor 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。

neural-compressor 还在维护吗？

活跃维护中。neural-compressor 最近一次提交是在 2026年10月20日。

neural-compressor 适合用来做什么？

在 Intel 硬件上降低大语言模型推理的显存占用和延迟部署前量化 PyTorch 或 JAX 视觉模型在 Intel Gaudi 加速器上应用 FP8 量化

neural-compressor 怎么安装和运行？

从 PyPI 安装 PyTorch 后端包: pip install neural-compressor-pt 从 PyPI 安装 JAX 后端包（可选）: pip install neural-compressor-jax 运行 FP8 量化示例代码（需要 Intel Gaudi2 硬件或 Gaudi Docker 镜像）

在哪里获取 neural-compressor？

源代码和安装说明在 GitHub 上：https://github.com/intel/neural-compressor

intel/neural-compressor

英特尔开源的 Python 模型压缩库，通过量化、稀疏化和蒸馏压缩深度学习模型。

在 GitHub 查看官网

Star: 2,722
Fork: 331
未关闭 Issue: 30
最近提交: 22小时前

这是什么？

Intel Neural Compressor 是一个用于压缩和加速深度学习模型的 Python 库。它提供静态量化、动态量化、SmoothQuant、仅权重量化、混合精度和 FP8 等方法，并支持 INT4、MXFP4、NVFP4 等低比特格式，主要面向大语言模型和视觉语言模型。

该库提供 PyTorch 和 JAX 的框架扩展，并带有类似 transformers 的接口，用于加载和量化模型。LLM 与 VLM 的量化通过集成 AutoRound 实现。文档列出的主要硬件包括 Intel Gaudi AI 加速器、Intel Core Ultra、Xeon Scalable 处理器和 Intel 数据中心 GPU，对 AMD CPU、ARM CPU 和 NVIDIA GPU 的测试较为有限。

项目还包含自动调优模块，可搜索满足精度目标的量化配置。文档涵盖 GPTQ、AWQ 风格的仅权重量化流程。

核心功能

01支持 PyTorch 和 JAX 模型的静态、动态和仅权重量化
02支持 SmoothQuant 与量化感知训练
03支持 FP8、MXFP8/MXFP4 和 NVFP4 等低精度格式（部分为实验性）
04提供类 transformers 接口，通过 AutoRound 量化 LLM 和 VLM
05自动调优，寻找满足精度目标的量化配置

适用场景

在 Intel 硬件上降低大语言模型推理的显存占用和延迟
部署前量化 PyTorch 或 JAX 视觉模型
在 Intel Gaudi 加速器上应用 FP8 量化

快速上手

1
从 PyPI 安装 PyTorch 后端包
pip install neural-compressor-pt
2
从 PyPI 安装 JAX 后端包（可选）
pip install neural-compressor-jax
3
运行 FP8 量化示例代码（需要 Intel Gaudi2 硬件或 Gaudi Docker 镜像）

使用前须知

入门示例主要面向 Intel Gaudi2 硬件，多数开发者可能没有该硬件。
部分功能仍处于实验阶段，例如 NVFP4、MXFP8/MXFP4 以及 Keras/JAX 的 FP8。
对 AMD CPU、ARM CPU 和 NVIDIA GPU 的支持仅经过有限测试。
特定硬件的环境配置（如匹配 Gaudi 软件版本）会增加安装工作量。

常见问题

neural-compressor 是什么？: 英特尔开源的 Python 模型压缩库，通过量化、稀疏化和蒸馏压缩深度学习模型。 Intel Neural Compressor 是一个用于压缩和加速深度学习模型的 Python 库。它提供静态量化、动态量化、SmoothQuant、仅权重量化、混合精度和 FP8 等方法，并支持 INT4、MXFP4、NVFP4 等低比特格式，主要面向大语言模型和视觉语言模型。
neural-compressor 可以免费使用吗？用的什么许可证？: neural-compressor 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。
neural-compressor 还在维护吗？: 活跃维护中。neural-compressor 最近一次提交是在 2026年10月20日。
neural-compressor 适合用来做什么？: 在 Intel 硬件上降低大语言模型推理的显存占用和延迟部署前量化 PyTorch 或 JAX 视觉模型在 Intel Gaudi 加速器上应用 FP8 量化
neural-compressor 怎么安装和运行？: 从 PyPI 安装 PyTorch 后端包: pip install neural-compressor-pt 从 PyPI 安装 JAX 后端包（可选）: pip install neural-compressor-jax 运行 FP8 量化示例代码（需要 Intel Gaudi2 硬件或 Gaudi Docker 镜像）
在哪里获取 neural-compressor？: 源代码和安装说明在 GitHub 上：https://github.com/intel/neural-compressor

概要由 AI 根据项目 README 生成；GitHub 数据每日更新。