Repolode
Enviar
vllm-project

vllm-project/llm-compressor

Biblioteca Python para compactar LLMs com quantização e poda, gerando checkpoints que podem ser carregados diretamente no vLLM para inferência.

Ver no GitHubSite
Estrelas
3,901
Forks
707
Issues abertas
124
Último commit
há 36 minutos

O que é?

O LLM Compressor é uma biblioteca para otimizar modelos de linguagem grandes antes da implantação com vLLM. Ele aplica quantização a pesos, ativações, cache KV e atenção, e também pode aplicar a poda de especialistas REAP a modelos mixture-of-experts. Os modelos são salvos no formato compressed-tensors, que o vLLM carrega sem conversão adicional.

A biblioteca funciona com modelos e repositórios do Hugging Face. Ela oferece vários algoritmos, incluindo PTQ simples com round-to-nearest, GPTQ, AWQ, SmoothQuant, AutoRound e métodos baseados em rotação, como SpinQuant e QuIP. As precisões compatíveis vão de FP8, INT8 e formatos microscale NVFP4/MXFP4 a esquemas weight-only de 4 e 8 bits.

Para modelos muito grandes, há suporte a quantização DDP, carregamento sequencial e offloading para disco, permitindo executar a compactação em hardware limitado. A API consiste em uma única chamada `oneshot` que recebe uma recipe, mantendo o fluxo de trabalho curto nos casos comuns.

Recursos principais

  • 01Quantização de pesos, ativações, cache KV e atenção em formatos como FP8, INT8, NVFP4 e MXFP4.
  • 02Algoritmos como GPTQ, AWQ, SmoothQuant, AutoRound e PTQ com round-to-nearest.
  • 03Gera checkpoints compressed-tensors que o vLLM carrega diretamente.
  • 04Funciona com modelos e repositórios do Hugging Face.
  • 05DDP, carregamento sequencial e offloading para disco para compactar modelos muito grandes.
  • 06Poda de especialistas REAP para modelos mixture-of-experts.

Casos de uso

  • Reduzir o consumo de VRAM de um modelo para que ele caiba em menos GPUs durante o serving com vLLM.
  • Gerar checkpoints FP4 ou FP8 de novos modelos com pesos abertos para inferência em produção.
  • Compactar modelos muito grandes em hardware limitado usando offloading para disco ou DDP.
  • Experimentar diferentes algoritmos e esquemas de quantização por meio de uma recipe.

Tópicos

#llm#quantization#model-compression#vllm#inference#gptq#awq#fp8#compression

Perguntas frequentes

O que é llm-compressor?
Biblioteca Python para compactar LLMs com quantização e poda, gerando checkpoints que podem ser carregados diretamente no vLLM para inferência. O LLM Compressor é uma biblioteca para otimizar modelos de linguagem grandes antes da implantação com vLLM. Ele aplica quantização a pesos, ativações, cache KV e atenção, e também pode aplicar a poda de especialistas REAP a modelos mixture-of-experts. Os modelos são salvos no formato compressed-tensors, que o vLLM carrega sem conversão adicional.
llm-compressor é gratuito? Qual é a licença?
llm-compressor é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
llm-compressor ainda é mantido?
Manutenção ativa. O último commit de llm-compressor foi em 22 de out. de 2026.
Para que posso usar llm-compressor?
Reduzir o consumo de VRAM de um modelo para que ele caiba em menos GPUs durante o serving com vLLM. Gerar checkpoints FP4 ou FP8 de novos modelos com pesos abertos para inferência em produção. Compactar modelos muito grandes em hardware limitado usando offloading para disco ou DDP. Experimentar diferentes algoritmos e esquemas de quantização por meio de uma recipe.
Onde consigo llm-compressor?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/vllm-project/llm-compressor

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados