neural-compressor は無料で使えますか？ライセンスは？

neural-compressor は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

neural-compressor は今もメンテナンスされていますか？

活発にメンテナンス中。neural-compressor の最終コミットは 2026年10月20日です。

neural-compressor は何に使えますか？

Intelハードウェアで推論する大規模言語モデルのメモリ使用量とレイテンシを削減するデプロイ前にPyTorchまたはJAXのビジョンモデルを量子化する Intel GaudiアクセラレーターでFP8量子化を適用する

neural-compressor のインストール方法は？

PyPIからPyTorchバックエンドパッケージをインストールする: pip install neural-compressor-pt PyPIからJAXバックエンドパッケージをインストールする（任意）: pip install neural-compressor-jax FP8量子化のサンプルコードを実行する（Intel Gaudi2ハードウェアまたはGaudi Dockerイメージが必要）

neural-compressor はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/intel/neural-compressor

intel/neural-compressor

Q: neural-compressor は今もメンテナンスされていますか？

活発にメンテナンス中。neural-compressor の最終コミットは 2026年10月20日 です。

Intelが提供するオープンソースのPythonライブラリ。PyTorch、JAX、ONNXに対応し、量子化・スパース化・蒸留で深層学習モデルを圧縮します。

GitHub で見る公式サイト

スター: 2,722
フォーク: 331
未解決の Issue: 30
最終コミット: 昨日

これは何？

Intel Neural Compressorは、深層学習モデルを小型化し、高速化するためのPythonライブラリです。学習後量子化や量子化対応学習の手法として、静的・動的量子化、SmoothQuant、weight-only量子化、混合精度、FP8を提供します。また、大規模言語モデルや視覚言語モデル向けのINT4、MXFP4、NVFP4などの低ビット形式にも対応しています。

PyTorchとJAX向けのフレームワーク拡張を備え、モデルの読み込みと量子化にはtransformers風のAPIを利用できます。LLMとVLMの量子化はAutoRoundと統合されています。ドキュメントでは、Intel Gaudi AIアクセラレーター、Intel Core Ultra、Xeon Scalableプロセッサー、Intel Data Center GPUを対象ハードウェアとして挙げており、AMD CPU、ARM CPU、NVIDIA GPUでのテストは限定的です。

量子化の設定を探索し、目標精度を満たす構成を見つける自動チューニングモジュールも含まれています。また、GPTQやAWQ形式のweight-onlyワークフローについてもドキュメントで解説しています。

主な機能

01PyTorchおよびJAXモデル向けの静的・動的・weight-only量子化
02SmoothQuantと量子化対応学習をサポート
03FP8、MXFP8/MXFP4、NVFP4などの低精度形式（一部は実験的）
04AutoRoundを介してLLMとVLMを量子化する、Transformers風のAPI
05目標精度を満たす量子化設定を見つける自動チューニング

ユースケース

Intelハードウェアで推論する大規模言語モデルのメモリ使用量とレイテンシを削減する
デプロイ前にPyTorchまたはJAXのビジョンモデルを量子化する
Intel GaudiアクセラレーターでFP8量子化を適用する

クイックスタート

1
PyPIからPyTorchバックエンドパッケージをインストールする
pip install neural-compressor-pt
2
PyPIからJAXバックエンドパッケージをインストールする（任意）
pip install neural-compressor-jax
3
FP8量子化のサンプルコードを実行する（Intel Gaudi2ハードウェアまたはGaudi Dockerイメージが必要）

使う前に知っておきたいこと

入門用の主なサンプルはIntel Gaudi2ハードウェアを対象としており、ほとんどの開発者はこのハードウェアを所有していません。
NVFP4、MXFP8/MXFP4、Keras/JAX向けFP8など、一部の機能はまだ実験段階です。
AMD CPU、ARM CPU、NVIDIA GPUのサポートは、限定的なテストのみです。
Gaudiソフトウェアのバージョンを合わせるなど、ハードウェア固有のセットアップによりインストールの手間が増えます。

トピック

#quantization #model-compression #llm #pytorch #int4 #fp8 #pruning #deep-learning #auto-tuning #awq

よくある質問

neural-compressor とは？: Intelが提供するオープンソースのPythonライブラリ。PyTorch、JAX、ONNXに対応し、量子化・スパース化・蒸留で深層学習モデルを圧縮します。 Intel Neural Compressorは、深層学習モデルを小型化し、高速化するためのPythonライブラリです。学習後量子化や量子化対応学習の手法として、静的・動的量子化、SmoothQuant、weight-only量子化、混合精度、FP8を提供します。また、大規模言語モデルや視覚言語モデル向けのINT4、MXFP4、NVFP4などの低ビット形式にも対応しています。
neural-compressor は無料で使えますか？ライセンスは？: neural-compressor は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
neural-compressor は今もメンテナンスされていますか？: 活発にメンテナンス中。neural-compressor の最終コミットは 2026年10月20日です。
neural-compressor は何に使えますか？: Intelハードウェアで推論する大規模言語モデルのメモリ使用量とレイテンシを削減するデプロイ前にPyTorchまたはJAXのビジョンモデルを量子化する Intel GaudiアクセラレーターでFP8量子化を適用する
neural-compressor のインストール方法は？: PyPIからPyTorchバックエンドパッケージをインストールする: pip install neural-compressor-pt PyPIからJAXバックエンドパッケージをインストールする（任意）: pip install neural-compressor-jax FP8量子化のサンプルコードを実行する（Intel Gaudi2ハードウェアまたはGaudi Dockerイメージが必要）
neural-compressor はどこで入手できますか？: ソースコードとインストール手順は GitHub にあります：https://github.com/intel/neural-compressor

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。