Repolode
Enviar
intel

intel/neural-compressor

Biblioteca Python open source da Intel para comprimir modelos de deep learning com quantização, esparsidade e destilação em PyTorch, JAX e ONNX.

Ver no GitHubSite
Estrelas
2,722
Forks
331
Issues abertas
30
Último commit
ontem

O que é?

O Intel Neural Compressor é uma biblioteca Python para reduzir o tamanho e acelerar modelos de deep learning. Ela oferece métodos de quantização pós-treinamento e quantização-aware, como quantização estática e dinâmica, SmoothQuant, quantização somente de pesos, precisão mista e FP8, além de formatos de baixa precisão como INT4, MXFP4 e NVFP4, voltados a large language models e vision-language models.

A biblioteca inclui extensões para PyTorch e JAX, com uma API no estilo Transformers para carregar e quantizar modelos. A quantização de LLMs e VLMs é integrada ao AutoRound. Os alvos de hardware documentados incluem aceleradores Intel Gaudi AI, Intel Core Ultra, processadores Xeon Scalable e GPUs Intel Data Center, com testes limitados em CPUs AMD, CPUs ARM e GPUs NVIDIA.

O projeto também inclui um módulo de ajuste automático que busca configurações de quantização que atendam a uma meta de acurácia, e a documentação aborda fluxos de trabalho de quantização somente de pesos no estilo GPTQ e AWQ.

Recursos principais

  • 01Quantização estática, dinâmica e somente de pesos para modelos PyTorch e JAX
  • 02Suporte a SmoothQuant e treinamento com quantização-aware
  • 03Formatos de baixa precisão FP8, MXFP8/MXFP4 e NVFP4 (alguns experimentais)
  • 04API no estilo Transformers para quantizar LLMs e VLMs via AutoRound
  • 05Ajuste automático para encontrar configurações de quantização que atendam a uma meta de acurácia

Casos de uso

  • Reduzir o uso de memória e a latência de large language models durante a inferência em hardware Intel
  • Quantizar modelos de visão em PyTorch ou JAX antes da implantação
  • Aplicar quantização FP8 em aceleradores Intel Gaudi

Início rápido

  1. 1

    Instale o pacote de backend do PyTorch pelo PyPI

    pip install neural-compressor-pt
  2. 2

    Instale o pacote de backend do JAX pelo PyPI (opcional)

    pip install neural-compressor-jax
  3. 3

    Execute o código de exemplo de quantização FP8 (requer hardware Intel Gaudi2 ou a imagem Docker do Gaudi)

Antes de usar

  • O principal exemplo de introdução é voltado para hardware Intel Gaudi2, que a maioria dos desenvolvedores não terá.
  • Alguns recursos ainda são experimentais, como NVFP4, MXFP8/MXFP4 e FP8 para Keras/JAX.
  • O suporte a CPU AMD, CPU ARM e GPU NVIDIA foi testado apenas de forma limitada.
  • A configuração específica do hardware, como compatibilizar as versões do software Gaudi, aumenta o esforço de instalação.

Tópicos

#quantization#model-compression#llm#pytorch#int4#fp8#pruning#deep-learning#auto-tuning#awq

Perguntas frequentes

O que é neural-compressor?
Biblioteca Python open source da Intel para comprimir modelos de deep learning com quantização, esparsidade e destilação em PyTorch, JAX e ONNX. O Intel Neural Compressor é uma biblioteca Python para reduzir o tamanho e acelerar modelos de deep learning. Ela oferece métodos de quantização pós-treinamento e quantização-aware, como quantização estática e dinâmica, SmoothQuant, quantização somente de pesos, precisão mista e FP8, além de formatos de baixa precisão como INT4, MXFP4 e NVFP4, voltados a large language models e vision-language models.
neural-compressor é gratuito? Qual é a licença?
neural-compressor é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
neural-compressor ainda é mantido?
Manutenção ativa. O último commit de neural-compressor foi em 20 de out. de 2026.
Para que posso usar neural-compressor?
Reduzir o uso de memória e a latência de large language models durante a inferência em hardware Intel Quantizar modelos de visão em PyTorch ou JAX antes da implantação Aplicar quantização FP8 em aceleradores Intel Gaudi
Como instalar neural-compressor?
Instale o pacote de backend do PyTorch pelo PyPI: pip install neural-compressor-pt Instale o pacote de backend do JAX pelo PyPI (opcional): pip install neural-compressor-jax Execute o código de exemplo de quantização FP8 (requer hardware Intel Gaudi2 ou a imagem Docker do Gaudi)
Onde consigo neural-compressor?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/intel/neural-compressor

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados