Repolode
Enviar
intel

intel/auto-round

Toolkit da Intel para quantização pós-treinamento de LLMs e VLMs, que comprime modelos usando pesos de baixa precisão para Transformers, vLLM e SGLang.

Ver no GitHub
Estrelas
1,684
Forks
193
Issues abertas
109
Último commit
há 4 horas

O que é?

AutoRound é um toolkit de quantização pós-treinamento para modelos de linguagem grandes e modelos de visão e linguagem. Ele usa otimização por gradiente com sinal para arredondar pesos (a abordagem SignRound), mantendo a precisão em larguras de bits baixas, e também oferece um gerador adaptativo de esquemas de precisão mista chamado AutoScheme.

O toolkit oferece suporte a esquemas somente de pesos, como W4A16, W2A16 e W8A16, além dos tipos de dados MXFP4, NVFP4 e FP8. É possível exportar para o formato próprio auto_round e também para AutoAWQ, AutoGPTQ, llm-compressor e GGUF. Modelos quantizados podem ser carregados no Transformers, vLLM e SGLang, e o projeto tem como alvo CPUs e XPUs da Intel, aceleradores Gaudi e GPUs NVIDIA.

Os usuários escolhem uma configuração, desde modos rápidos no estilo RTN até opções de maior precisão, e podem executá-la pela CLI ou pela API Python, com conjuntos de dados de calibração, número de iterações e opções de memória configuráveis.

Recursos principais

  • 01Quantização somente de pesos em larguras de 2 a 8 bits, além dos tipos MXFP4, NVFP4 e FP8.
  • 02Exportação para os formatos auto_round, AutoAWQ, AutoGPTQ, llm-compressor e GGUF.
  • 03O AutoScheme gera configurações de quantização de precisão mista com base em uma largura média de bits desejada.
  • 04Suporte à quantização do módulo de texto de modelos de visão e linguagem.
  • 05Quantização em várias GPUs e seleção de conjuntos de dados de calibração.

Casos de uso

  • Reduzir um LLM de 7B a 70B a pesos de 4 bits para baratear a inferência em uma única GPU.
  • Preparar checkpoints quantizados para servir modelos por meio do vLLM ou SGLang.
  • Gerar arquivos GGUF para ambientes de execução compatíveis com llama.cpp.
  • Experimentar configurações de precisão mista para respeitar um limite de memória.

Início rápido

  1. 1

    Instale auto-round do PyPI (CPU/CUDA)

    pip install auto-round
  2. 2

    Quantize um modelo com a CLI

    auto-round --model Qwen/Qwen3-0.6B --scheme "W4A16" --format "auto_round" --output_dir ./tmp_autoround

Antes de usar

  • Alguns recursos são experimentais, como a composição de algoritmos e o esquema MXFP4, que não tem kernels reais.
  • As versões recentes informam que algumas otimizações podem causar regressões ou problemas.
  • As receitas de maior precisão são várias vezes mais lentas que a opção padrão.

Tópicos

#quantization#llm#vlm#int4#post-training-quantization#transformers#vllm#deep-learning#diffusers#gguf

Perguntas frequentes

O que é auto-round?
Toolkit da Intel para quantização pós-treinamento de LLMs e VLMs, que comprime modelos usando pesos de baixa precisão para Transformers, vLLM e SGLang. AutoRound é um toolkit de quantização pós-treinamento para modelos de linguagem grandes e modelos de visão e linguagem. Ele usa otimização por gradiente com sinal para arredondar pesos (a abordagem SignRound), mantendo a precisão em larguras de bits baixas, e também oferece um gerador adaptativo de esquemas de precisão mista chamado AutoScheme.
auto-round é gratuito? Qual é a licença?
auto-round é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
auto-round ainda é mantido?
Manutenção ativa. O último commit de auto-round foi em 21 de out. de 2026.
Para que posso usar auto-round?
Reduzir um LLM de 7B a 70B a pesos de 4 bits para baratear a inferência em uma única GPU. Preparar checkpoints quantizados para servir modelos por meio do vLLM ou SGLang. Gerar arquivos GGUF para ambientes de execução compatíveis com llama.cpp. Experimentar configurações de precisão mista para respeitar um limite de memória.
Como instalar auto-round?
Instale auto-round do PyPI (CPU/CUDA): pip install auto-round Quantize um modelo com a CLI: auto-round --model Qwen/Qwen3-0.6B --scheme "W4A16" --format "auto_round" --output_dir ./tmp_autoround
Onde consigo auto-round?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/intel/auto-round

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados