「int4」に関するオープンソースプロジェクト

IntelのLLM・VLM向け事後学習量子化ツールキット。モデルを低ビット重みに圧縮し、Transformers、vLLM、SGLangに対応します。

Intelが提供するオープンソースのPythonライブラリ。PyTorch、JAX、ONNXに対応し、量子化・スパース化・蒸留で深層学習モデルを圧縮します。