Repolode
Enviar
vllm-project

vllm-project/llm-compressor

Biblioteca de Python para comprimir LLM mediante cuantización y poda, y generar checkpoints que vLLM carga directamente para inferencia.

Ver en GitHubSitio web
Estrellas
3,901
Forks
707
Issues abiertos
124
Último commit
hace 36 minutos

¿Qué es?

LLM Compressor es una biblioteca para optimizar modelos de lenguaje grandes antes de desplegarlos con vLLM. Aplica cuantización a los pesos, las activaciones, la KV cache y la atención, y también puede aplicar la poda de expertos REAP a modelos mixture-of-experts. Los modelos se guardan en el formato compressed-tensors, que vLLM puede cargar sin conversiones adicionales.

La biblioteca funciona con modelos y repositorios de Hugging Face. Ofrece varios algoritmos, como PTQ round-to-nearest, GPTQ, AWQ, SmoothQuant, AutoRound y métodos basados en rotaciones, como SpinQuant y QuIP. Las precisiones compatibles van desde FP8, INT8 y los formatos microscale NVFP4/MXFP4 hasta esquemas de solo pesos de 4 y 8 bits.

Para modelos muy grandes, admite cuantización DDP, carga secuencial y descarga a disco, de modo que la compresión pueda ejecutarse con hardware limitado. Su API consiste en una única llamada a `oneshot` que recibe una receta, lo que simplifica el flujo de trabajo en los casos habituales.

Funciones clave

  • 01Cuantización de pesos, activaciones, KV cache y atención con formatos como FP8, INT8, NVFP4 y MXFP4.
  • 02Algoritmos como GPTQ, AWQ, SmoothQuant, AutoRound y PTQ round-to-nearest.
  • 03Genera checkpoints compressed-tensors que vLLM carga directamente.
  • 04Compatible con modelos y repositorios de Hugging Face.
  • 05DDP, carga secuencial y descarga a disco para comprimir modelos muy grandes.
  • 06Poda de expertos REAP para modelos mixture-of-experts.

Casos de uso

  • Reducir el consumo de VRAM de un modelo para que quepa en menos GPU al servirlo con vLLM.
  • Generar checkpoints FP4 o FP8 de nuevos modelos de pesos abiertos para inferencia en producción.
  • Comprimir modelos muy grandes con hardware limitado mediante descarga a disco o DDP.
  • Probar distintos algoritmos y esquemas de cuantización mediante una receta.

Temas

#llm#quantization#model-compression#vllm#inference#gptq#awq#fp8#compression

Preguntas frecuentes

¿Qué es llm-compressor?
Biblioteca de Python para comprimir LLM mediante cuantización y poda, y generar checkpoints que vLLM carga directamente para inferencia. LLM Compressor es una biblioteca para optimizar modelos de lenguaje grandes antes de desplegarlos con vLLM. Aplica cuantización a los pesos, las activaciones, la KV cache y la atención, y también puede aplicar la poda de expertos REAP a modelos mixture-of-experts. Los modelos se guardan en el formato compressed-tensors, que vLLM puede cargar sin conversiones adicionales.
¿llm-compressor es gratuito? ¿Qué licencia tiene?
llm-compressor es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿llm-compressor sigue mantenido?
Mantenimiento activo. El último commit de llm-compressor fue el 22 oct 2026.
¿Para qué puedo usar llm-compressor?
Reducir el consumo de VRAM de un modelo para que quepa en menos GPU al servirlo con vLLM. Generar checkpoints FP4 o FP8 de nuevos modelos de pesos abiertos para inferencia en producción. Comprimir modelos muy grandes con hardware limitado mediante descarga a disco o DDP. Probar distintos algoritmos y esquemas de cuantización mediante una receta.
¿Dónde consigo llm-compressor?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/vllm-project/llm-compressor

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados