Repolode
Enviar
NVIDIA

NVIDIA/Model-Optimizer

Biblioteca open source da NVIDIA para compactar modelos de deep learning com quantização, pruning, destilação, esparsidade e speculative decoding, acelerando a inferência.

Ver no GitHubSite
Estrelas
5,553
Forks
803
Issues abertas
524
Último commit
há 3 horas

O que é?

O NVIDIA Model Optimizer (ModelOpt) é uma biblioteca Python que aplica técnicas de otimização de modelos, como quantização pós-treinamento, treinamento com quantização consciente, pruning, destilação de conhecimento, Neural Architecture Search, esparsidade e speculative decoding. Ela recebe modelos Hugging Face, PyTorch ou ONNX e oferece APIs Python para combinar essas técnicas e exportar um checkpoint quantizado e otimizado.

Os checkpoints exportados são destinados a frameworks de inferência, como TensorRT-LLM, TensorRT, vLLM e SGLang. O projeto também se integra ao Megatron-LM, Megatron-Bridge e Hugging Face Accelerate para otimização durante o treinamento, e sua API de exportação para Hugging Face atende tanto modelos transformers quanto diffusers.

O repositório inclui exemplos para LLMs, VLMs, modelos de difusão e ONNX, além de uma matriz de suporte por tipo de modelo e um conjunto de checkpoints pré-quantizados publicados no Hugging Face.

Recursos principais

  • 01Quantização pós-treinamento e treinamento com quantização consciente, incluindo os formatos NVFP4 e FP8
  • 02Pruning estruturado e destilação de conhecimento para reduzir o tamanho de LLMs
  • 03Técnicas de speculative decoding e esparsidade
  • 04Exporta checkpoints quantizados para TensorRT-LLM, vLLM e SGLang
  • 05Aceita modelos de entrada em Hugging Face, PyTorch e ONNX

Casos de uso

  • Quantizar um LLM grande do Hugging Face para NVFP4 ou FP8 antes de servi-lo com vLLM ou TensorRT-LLM
  • Aplicar pruning e destilação a um modelo maior para obter um modelo menor que mantenha a maior parte da qualidade
  • Adicionar um módulo draft para acelerar a geração de tokens com speculative decoding
  • Reduzir a latência de modelos de difusão em pipelines de geração de imagens ou vídeos

Início rápido

  1. 1

    Instale a versão estável do PyPI

    pip install -U nvidia-modelopt[all]

Antes de usar

  • A instalação inclui outros projetos de código aberto de terceiros cujos termos de licença você deve consultar.
  • As imagens de contêiner da NVIDIA com as quais ele pode ser usado têm seus próprios termos de licença, que você deve consultar antes de usá-las.

Tópicos

#model-compression#quantization#pruning#knowledge-distillation#inference-optimization#speculative-decoding#tensorrt#llm

Perguntas frequentes

O que é Model-Optimizer?
Biblioteca open source da NVIDIA para compactar modelos de deep learning com quantização, pruning, destilação, esparsidade e speculative decoding, acelerando a inferência. O NVIDIA Model Optimizer (ModelOpt) é uma biblioteca Python que aplica técnicas de otimização de modelos, como quantização pós-treinamento, treinamento com quantização consciente, pruning, destilação de conhecimento, Neural Architecture Search, esparsidade e speculative decoding. Ela recebe modelos Hugging Face, PyTorch ou ONNX e oferece APIs Python para combinar essas técnicas e exportar um checkpoint quantizado e otimizado.
Model-Optimizer é gratuito? Qual é a licença?
Model-Optimizer é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
Model-Optimizer ainda é mantido?
Manutenção ativa. O último commit de Model-Optimizer foi em 7 de nov. de 2026.
Para que posso usar Model-Optimizer?
Quantizar um LLM grande do Hugging Face para NVFP4 ou FP8 antes de servi-lo com vLLM ou TensorRT-LLM Aplicar pruning e destilação a um modelo maior para obter um modelo menor que mantenha a maior parte da qualidade Adicionar um módulo draft para acelerar a geração de tokens com speculative decoding Reduzir a latência de modelos de difusão em pipelines de geração de imagens ou vídeos
Como instalar Model-Optimizer?
Instale a versão estável do PyPI: pip install -U nvidia-modelopt[all]
Onde consigo Model-Optimizer?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/NVIDIA/Model-Optimizer

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados