Repolode
Enviar
ModelCloud

ModelCloud/GPTQModel

Kit de herramientas para cuantizar modelos de lenguaje grandes (GPTQ, AWQ, GGUF, FP8, EXL3 y más) y ejecutarlos en hardware NVIDIA, AMD, Intel, Apple y CPU.

Ver en GitHubSitio web
Estrellas
1,289
Forks
214
Issues abiertos
11
Último commit
hace 3 horas

¿Qué es?

GPTQModel es una plataforma de Python para comprimir modelos de lenguaje grandes mediante cuantización. Ofrece una sola API para calibrar, cuantizar, evaluar la calidad, guardar y volver a cargar modelos, y acelerar la inferencia; admite métodos como GPTQ, AWQ, ParoQuant, QQQ, GGUF, FP8, EXL3, VPTQ y GPTAQ.

Los modelos cuantizados se pueden cargar con Hugging Face Transformers, Optimum y PEFT, y ejecutar mediante vLLM o SGLang. El proyecto indica que admite kernels para NVIDIA CUDA, AMD ROCm, Huawei Ascend NPU, Intel XPU, Apple Silicon (MPS y MLX) y CPU Intel, AMD y Apple. Los usuarios pueden asignar distintos ajustes de cuantización a cada capa, excluir módulos y reanudar trabajos de cuantización interrumpidos desde checkpoints por capa.

El paquete se instala con pip y ofrece un endpoint de serving compatible con OpenAI. La compatibilidad con modelos abarca una larga lista de arquitecturas Llama, Qwen, Gemma, Mistral, DeepSeek y de visión y lenguaje.

Funciones clave

  • 01Admite GPTQ, AWQ, GGUF, FP8, EXL3, QQQ, VPTQ y otros métodos de cuantización mediante una sola API.
  • 02Carga checkpoints cuantizados en Transformers y los sirve mediante vLLM o SGLang.
  • 03Funciona en backends NVIDIA, AMD, Huawei Ascend, Intel XPU, Apple Silicon y CPU.
  • 04Permite configurar la cuantización por módulo y excluir capas específicas.
  • 05Reanuda trabajos de cuantización prolongados desde checkpoints por capa.
  • 06Ofrece un endpoint de API compatible con OpenAI para un modelo cargado.

Casos de uso

  • Comprimir un modelo Llama o Qwen para que ocupe menos memoria de GPU.
  • Generar checkpoints cuantizados para desplegarlos con vLLM o SGLang.
  • Cuantizar modelos en Apple Silicon con el formato MLX.
  • Experimentar con recetas de cuantización de precisión mixta o por capa.

Antes de usarlo

  • Los metadatos de licencia indican NOASSERTION, por lo que debes consultar directamente la licencia en el repositorio antes de usarlo.
  • Algunas funciones requieren hardware específico, como NVIDIA SM89+ o GB10 para la ruta experimental W4A.
  • En las versiones recientes se han retirado o cambiado varias API, por lo que puede ser necesario migrar el código existente.

Temas

#llm#quantization#gptq#awq#model-compression#inference#gguf#pytorch#optimum#peft

Preguntas frecuentes

¿Qué es GPTQModel?
Kit de herramientas para cuantizar modelos de lenguaje grandes (GPTQ, AWQ, GGUF, FP8, EXL3 y más) y ejecutarlos en hardware NVIDIA, AMD, Intel, Apple y CPU. GPTQModel es una plataforma de Python para comprimir modelos de lenguaje grandes mediante cuantización. Ofrece una sola API para calibrar, cuantizar, evaluar la calidad, guardar y volver a cargar modelos, y acelerar la inferencia; admite métodos como GPTQ, AWQ, ParoQuant, QQQ, GGUF, FP8, EXL3, VPTQ y GPTAQ.
¿GPTQModel es gratuito? ¿Qué licencia tiene?
GPTQModel es open source bajo la licencia Other. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿GPTQModel sigue mantenido?
Mantenimiento activo. El último commit de GPTQModel fue el 7 nov 2026.
¿Para qué puedo usar GPTQModel?
Comprimir un modelo Llama o Qwen para que ocupe menos memoria de GPU. Generar checkpoints cuantizados para desplegarlos con vLLM o SGLang. Cuantizar modelos en Apple Silicon con el formato MLX. Experimentar con recetas de cuantización de precisión mixta o por capa.
¿Dónde consigo GPTQModel?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/ModelCloud/GPTQModel

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados