Repolode
Enviar
huggingface

huggingface/optimum-quanto

Backend de quantização para PyTorch do Hugging Face Optimum, que quantiza pesos e ativações de int2 a float8.

Ver no GitHub
Estrelas
1,056
Forks
100
Issues abertas
5
Último commit
há 12 dias

O que é?

O Optimum Quanto é um backend de quantização para PyTorch que faz parte do ecossistema Hugging Face Optimum. Ele converte modelos em ponto flutuante para versões com menor largura de bits, com suporte a pesos int2, int4, int8 e float8, além de ativações int8 e float8. Isso reduz o uso de memória no dispositivo aproximadamente na proporção da largura de bits.

A biblioteca funciona em eager mode, então consegue lidar com modelos que não podem ser rastreados, e os modelos quantizados podem rodar em CUDA, MPS e outros dispositivos. Ela oferece classes auxiliares para quantizar e salvar LLMs do Hugging Face e componentes de pipelines do diffusers, além de uma API de baixo nível para modelos PyTorch padrão, com suporte a quantização, calibração, ajuste com consciência de quantização, congelamento e serialização via safetensors.

O projeto está em modo de manutenção; por isso, só são aceitas correções pequenas e alterações na documentação. O README recomenda bitsandbytes e torchAO para trabalhos de quantização voltados à produção ou em desenvolvimento ativo. A compatibilidade com o compilador do Torch (dynamo) ainda não foi implementada.

Recursos principais

  • 01Oferece suporte a pesos int2, int4, int8 e float8, e a ativações int8 e float8.
  • 02Roda em eager mode, permitindo o uso de modelos que não podem ser rastreados.
  • 03Modelos quantizados podem ser executados em CUDA, MPS e outros dispositivos.
  • 04Oferece classes auxiliares para quantizar, salvar e carregar novamente LLMs do Hugging Face e componentes do diffusers.
  • 05Faz a serialização nos formatos pytorch weight_only e safetensors.

Casos de uso

  • Reduzir o tamanho de LLMs grandes do Hugging Face para que caibam na memória limitada da GPU.
  • Quantizar componentes transformer do diffusers, como o PixArt, para gerar imagens usando menos memória.
  • Aplicar treinamento com consciência de quantização a modelos PyTorch padrão usando a API de baixo nível.

Em coleções

Geradores de imagens com IA e ferramentas de Stable Diffusion

Tópicos

#pytorch#quantization#llm#diffusion-models#model-compression#safetensors#hugging-face#optimum

Perguntas frequentes

O que é optimum-quanto?
Backend de quantização para PyTorch do Hugging Face Optimum, que quantiza pesos e ativações de int2 a float8. O Optimum Quanto é um backend de quantização para PyTorch que faz parte do ecossistema Hugging Face Optimum. Ele converte modelos em ponto flutuante para versões com menor largura de bits, com suporte a pesos int2, int4, int8 e float8, além de ativações int8 e float8. Isso reduz o uso de memória no dispositivo aproximadamente na proporção da largura de bits.
optimum-quanto é gratuito? Qual é a licença?
optimum-quanto é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
optimum-quanto ainda é mantido?
Manutenção ativa. O último commit de optimum-quanto foi em 26 de out. de 2026.
Para que posso usar optimum-quanto?
Reduzir o tamanho de LLMs grandes do Hugging Face para que caibam na memória limitada da GPU. Quantizar componentes transformer do diffusers, como o PixArt, para gerar imagens usando menos memória. Aplicar treinamento com consciência de quantização a modelos PyTorch padrão usando a API de baixo nível.
Onde consigo optimum-quanto?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/huggingface/optimum-quanto

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados