Repolode
Enviar
ModelCloud

ModelCloud/GPTQModel

Kit de ferramentas para quantizar modelos de linguagem grandes (GPTQ, AWQ, GGUF, FP8, EXL3 e outros) e executá-los em hardware NVIDIA, AMD, Intel, Apple e CPU.

Ver no GitHubSite
Estrelas
1,289
Forks
214
Issues abertas
11
Último commit
há 3 horas

O que é?

GPTQModel é uma plataforma Python para compactar modelos de linguagem grandes por meio de quantização. Ela oferece uma única API para calibração, quantização, avaliação de qualidade, salvamento, carregamento e inferência acelerada, com suporte a métodos como GPTQ, AWQ, ParoQuant, QQQ, GGUF, FP8, EXL3, VPTQ e GPTAQ.

Modelos quantizados podem ser carregados com Hugging Face Transformers, Optimum e PEFT, e servidos com vLLM ou SGLang. O projeto lista suporte a kernels para NVIDIA CUDA, AMD ROCm, Huawei Ascend NPU, Intel XPU, Apple Silicon (MPS e MLX) e CPUs Intel/AMD/Apple. É possível atribuir configurações de quantização diferentes a cada camada, excluir módulos e retomar trabalhos de quantização interrompidos a partir de checkpoints no nível das camadas.

O pacote é instalado com pip e disponibiliza um endpoint de serving compatível com OpenAI. A cobertura de modelos inclui uma longa lista de arquiteturas Llama, Qwen, Gemma, Mistral, DeepSeek e de visão e linguagem.

Recursos principais

  • 01Oferece suporte a GPTQ, AWQ, GGUF, FP8, EXL3, QQQ, VPTQ e outros métodos de quantização por meio de uma única API.
  • 02Carrega checkpoints quantizados no Transformers e os serve com vLLM ou SGLang.
  • 03Funciona em backends NVIDIA, AMD, Huawei Ascend, Intel XPU, Apple Silicon e CPU.
  • 04Permite definir configurações de quantização por módulo e excluir camadas específicas.
  • 05Retoma trabalhos longos de quantização a partir de checkpoints no nível das camadas.
  • 06Disponibiliza um endpoint de API compatível com OpenAI para um modelo carregado.

Casos de uso

  • Compactar um modelo Llama ou Qwen para que ele caiba em menos memória de GPU.
  • Gerar checkpoints quantizados para implantação com vLLM ou SGLang.
  • Quantizar modelos em Apple Silicon usando o formato MLX.
  • Experimentar receitas de quantização de precisão mista ou por camada.

Antes de usar

  • Os metadados da licença indicam NOASSERTION, portanto confira a licença diretamente no repositório antes de usar o projeto.
  • Alguns recursos exigem hardware específico, como NVIDIA SM89+ ou GB10 para o caminho experimental W4A.
  • Versões recentes descontinuaram ou alteraram várias APIs, então pode ser necessário migrar o código existente.

Tópicos

#llm#quantization#gptq#awq#model-compression#inference#gguf#pytorch#optimum#peft

Perguntas frequentes

O que é GPTQModel?
Kit de ferramentas para quantizar modelos de linguagem grandes (GPTQ, AWQ, GGUF, FP8, EXL3 e outros) e executá-los em hardware NVIDIA, AMD, Intel, Apple e CPU. GPTQModel é uma plataforma Python para compactar modelos de linguagem grandes por meio de quantização. Ela oferece uma única API para calibração, quantização, avaliação de qualidade, salvamento, carregamento e inferência acelerada, com suporte a métodos como GPTQ, AWQ, ParoQuant, QQQ, GGUF, FP8, EXL3, VPTQ e GPTAQ.
GPTQModel é gratuito? Qual é a licença?
GPTQModel é open source sob a licença Other. Confira os termos da licença antes de usá-lo em produtos comerciais.
GPTQModel ainda é mantido?
Manutenção ativa. O último commit de GPTQModel foi em 7 de nov. de 2026.
Para que posso usar GPTQModel?
Compactar um modelo Llama ou Qwen para que ele caiba em menos memória de GPU. Gerar checkpoints quantizados para implantação com vLLM ou SGLang. Quantizar modelos em Apple Silicon usando o formato MLX. Experimentar receitas de quantização de precisão mista ou por camada.
Onde consigo GPTQModel?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/ModelCloud/GPTQModel

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados