auto-round は無料で使えますか？ライセンスは？

auto-round は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

auto-round は今もメンテナンスされていますか？

活発にメンテナンス中。auto-round の最終コミットは 2026年10月21日です。

auto-round は何に使えますか？

7B～70BのLLMを4ビット重みに圧縮し、単一GPUでの推論コストを抑える。 vLLMまたはSGLangで配信するための量子化済みチェックポイントを作成する。 llama.cpp互換のランタイム向けにGGUFファイルを生成する。メモリ予算に合わせた混合精度レシピを試す。

auto-round のインストール方法は？

PyPIからauto-roundをインストール（CPU/CUDA）: pip install auto-round CLIでモデルを量子化する: auto-round --model Qwen/Qwen3-0.6B --scheme "W4A16" --format "auto_round" --output_dir ./tmp_autoround

auto-round はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/intel/auto-round

intel/auto-round

Q: auto-round は今もメンテナンスされていますか？

活発にメンテナンス中。auto-round の最終コミットは 2026年10月21日 です。

IntelのLLM・VLM向け事後学習量子化ツールキット。モデルを低ビット重みに圧縮し、Transformers、vLLM、SGLangに対応します。

GitHub で見る

スター: 1,684
フォーク: 193
未解決の Issue: 109
最終コミット: 6 時間前

これは何？

AutoRoundは、大規模言語モデルや視覚言語モデル向けの事後学習量子化ツールキットです。重みの丸めに符号付き勾配最適化（SignRound方式）を用いて低ビット幅でも精度を維持し、適応型の混合ビット方式を生成するAutoSchemeも備えています。

W4A16、W2A16、W8A16などの重みのみの量子化方式に加え、MXFP4、NVFP4、FP8のデータ型に対応しています。独自のauto_round形式のほか、AutoAWQ、AutoGPTQ、llm-compressor、GGUF形式へのエクスポートも可能です。量子化モデルはTransformers、vLLM、SGLangで読み込めます。Intel CPUおよびXPU、Gaudiアクセラレーター、NVIDIA GPUを対象としています。

ユーザーはRTN方式の高速な設定から、より高精度な設定までレシピを選べます。CLIまたはPython APIから実行でき、キャリブレーション用データセット、反復回数、メモリ関連のオプションも設定できます。

主な機能

01W2～W8ビット幅の重みのみの量子化に加え、MXFP4、NVFP4、FP8に対応。
02auto_round、AutoAWQ、AutoGPTQ、llm-compressor、GGUF形式にエクスポート可能。
03AutoSchemeにより、目標平均ビット幅に合わせた混合ビット量子化レシピを生成。
04視覚言語モデルのテキストモジュールの量子化に対応。
05マルチGPU量子化とキャリブレーション用データセットの選択に対応。

ユースケース

7B～70BのLLMを4ビット重みに圧縮し、単一GPUでの推論コストを抑える。
vLLMまたはSGLangで配信するための量子化済みチェックポイントを作成する。
llama.cpp互換のランタイム向けにGGUFファイルを生成する。
メモリ予算に合わせた混合精度レシピを試す。

クイックスタート

1
PyPIからauto-roundをインストール（CPU/CUDA）
pip install auto-round
2
CLIでモデルを量子化する
auto-round --model Qwen/Qwen3-0.6B --scheme "W4A16" --format "auto_round" --output_dir ./tmp_autoround

使う前に知っておきたいこと

アルゴリズムの組み合わせや、実用的なカーネルがないMXFP4方式など、一部の機能は実験的です。
最近のリリースでは、一部の最適化によって性能低下や問題が発生する可能性があると記載されています。
最高精度のレシピは、デフォルトより数倍遅くなります。

トピック

#quantization #llm #vlm #int4 #post-training-quantization #transformers #vllm #deep-learning #diffusers #gguf

よくある質問

auto-round とは？: IntelのLLM・VLM向け事後学習量子化ツールキット。モデルを低ビット重みに圧縮し、Transformers、vLLM、SGLangに対応します。 AutoRoundは、大規模言語モデルや視覚言語モデル向けの事後学習量子化ツールキットです。重みの丸めに符号付き勾配最適化（SignRound方式）を用いて低ビット幅でも精度を維持し、適応型の混合ビット方式を生成するAutoSchemeも備えています。
auto-round は無料で使えますか？ライセンスは？: auto-round は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
auto-round は今もメンテナンスされていますか？: 活発にメンテナンス中。auto-round の最終コミットは 2026年10月21日です。
auto-round は何に使えますか？: 7B～70BのLLMを4ビット重みに圧縮し、単一GPUでの推論コストを抑える。 vLLMまたはSGLangで配信するための量子化済みチェックポイントを作成する。 llama.cpp互換のランタイム向けにGGUFファイルを生成する。メモリ予算に合わせた混合精度レシピを試す。
auto-round のインストール方法は？: PyPIからauto-roundをインストール（CPU/CUDA）: pip install auto-round CLIでモデルを量子化する: auto-round --model Qwen/Qwen3-0.6B --scheme "W4A16" --format "auto_round" --output_dir ./tmp_autoround
auto-round はどこで入手できますか？: ソースコードとインストール手順は GitHub にあります：https://github.com/intel/auto-round

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。