Repolode
提交项目
ModelCloud

ModelCloud/GPTQModel

用于量化大语言模型的工具包，支持 GPTQ、AWQ、GGUF、FP8 等多种格式，可在多种 GPU 和 CPU 上部署。

在 GitHub 查看官网
Star
1,289
Fork
214
未关闭 Issue
11
最近提交
昨天

这是什么？

GPTQModel 是一个用于大语言模型量化压缩的 Python 工具包。它提供统一的 API，覆盖校准、量化、质量评估、保存、重新加载和加速推理等环节，支持 GPTQ、AWQ、GGUF、FP8、EXL3、VPTQ 等多种量化方法。

量化后的模型可以通过 Hugging Face Transformers、Optimum 和 PEFT 加载，也可以通过 vLLM 或 SGLang 部署。项目支持 NVIDIA CUDA、AMD ROCm、华为昇腾 NPU、Intel XPU、Apple Silicon 以及 Intel/AMD/Apple CPU 等硬件后端。用户可以为不同层设置不同的量化配置，也可以跳过部分模块，并能从分层检查点恢复中断的量化任务。

项目可通过 pip 安装，并提供兼容 OpenAI 接口的服务端点。支持的模型架构包括 Llama、Qwen、Gemma、Mistral、DeepSeek 以及多种视觉语言模型。

核心功能

  • 01在统一 API 下支持 GPTQ、AWQ、GGUF、FP8、EXL3、QQQ、VPTQ 等量化方法。
  • 02量化模型可在 Transformers 中加载，并通过 vLLM 或 SGLang 提供服务。
  • 03支持 NVIDIA、AMD、华为昇腾、Intel XPU、Apple Silicon 和 CPU 后端。
  • 04支持按模块设置不同的量化参数，也可排除指定层。
  • 05长时间量化任务可从分层检查点续跑。
  • 06已加载的模型可通过兼容 OpenAI 的接口对外提供服务。

适用场景

  • 压缩 Llama、Qwen 等模型，使其占用更少的显存。
  • 为 vLLM 或 SGLang 部署生成量化后的模型权重。
  • 在 Apple Silicon 设备上以 MLX 格式量化模型。
  • 尝试混合精度或逐层量化方案的实验。

使用前须知

  • 项目元数据中的许可证为 NOASSERTION，使用前应直接在仓库中核实许可证。
  • 部分功能需要特定硬件，例如实验性 W4A 路径需要 NVIDIA SM89 及以上或 GB10。
  • 近期版本已停用或更改多个 API，现有代码可能需要迁移。

标签

#llm#quantization#gptq#awq#model-compression#inference#gguf#pytorch#optimum#peft

常见问题

GPTQModel 是什么？
用于量化大语言模型的工具包，支持 GPTQ、AWQ、GGUF、FP8 等多种格式，可在多种 GPU 和 CPU 上部署。 GPTQModel 是一个用于大语言模型量化压缩的 Python 工具包。它提供统一的 API，覆盖校准、量化、质量评估、保存、重新加载和加速推理等环节，支持 GPTQ、AWQ、GGUF、FP8、EXL3、VPTQ 等多种量化方法。
GPTQModel 可以免费使用吗？用的什么许可证？
GPTQModel 以 Other 许可证开源。用于商业产品前，请先确认许可证条款。
GPTQModel 还在维护吗？
活跃维护中。GPTQModel 最近一次提交是在 2026年11月6日。
GPTQModel 适合用来做什么？
压缩 Llama、Qwen 等模型，使其占用更少的显存。 为 vLLM 或 SGLang 部署生成量化后的模型权重。 在 Apple Silicon 设备上以 MLX 格式量化模型。 尝试混合精度或逐层量化方案的实验。
在哪里获取 GPTQModel？
源代码和安装说明在 GitHub 上：https://github.com/ModelCloud/GPTQModel

概要由 AI 根据项目 README 生成；GitHub 数据每日更新。

相关项目