Biblioteca Python de código abierto de Intel para comprimir modelos de deep learning mediante cuantización, sparsity y destilación en PyTorch, JAX y ONNX.
2,7 mil332PythonApache-2.0Actualizado anteayer
NVIDIA/Model-Optimizer
Biblioteca open source de NVIDIA para comprimir modelos de deep learning mediante cuantización, poda, destilación, sparsity y speculative decoding, y acelerar la inferencia.
- Estrellas
- 5,548
- Forks
- 801
- Issues abiertos
- 524
- Último commit
- hace 23 horas
¿Qué es?
NVIDIA Model Optimizer (ModelOpt) es una biblioteca de Python que aplica técnicas de optimización de modelos, como cuantización post-entrenamiento, entrenamiento consciente de la cuantización, poda, destilación de conocimiento, Neural Architecture Search, sparsity y speculative decoding. Acepta modelos de Hugging Face, PyTorch u ONNX como entrada y ofrece API de Python para combinar estas técnicas y exportar un checkpoint cuantizado y optimizado.
Los checkpoints exportados están pensados para frameworks de inferencia posteriores, como TensorRT-LLM, TensorRT, vLLM y SGLang. El proyecto también se integra con Megatron-LM, Megatron-Bridge y Hugging Face Accelerate para optimizar durante el entrenamiento, y su API de exportación a Hugging Face es compatible tanto con modelos de transformers como de diffusers.
El repositorio incluye ejemplos para LLM, VLM, modelos de difusión y ONNX, además de una matriz de compatibilidad por tipo de modelo y un conjunto de checkpoints pre cuantizados publicados en Hugging Face.
Funciones clave
- 01Cuantización post-entrenamiento y entrenamiento consciente de la cuantización, incluidos los formatos NVFP4 y FP8
- 02Poda estructurada y destilación de conocimiento para reducir el tamaño de los LLM
- 03Técnicas de speculative decoding y sparsity
- 04Exporta checkpoints cuantizados para TensorRT-LLM, vLLM y SGLang
- 05Admite modelos de entrada de Hugging Face, PyTorch y ONNX
Casos de uso
- Cuantizar un LLM grande de Hugging Face a NVFP4 o FP8 antes de servirlo con vLLM o TensorRT-LLM
- Podar y destilar un modelo grande para obtener uno más pequeño que conserve la mayor parte de su calidad
- Añadir un módulo draft para acelerar la generación de tokens con speculative decoding
- Reducir la latencia de modelos de difusión en pipelines de generación de imágenes o video
Inicio rápido
- 1
Instala la versión estable desde PyPI
pip install -U nvidia-modelopt[all]
Antes de usarlo
- La instalación incorpora otros proyectos de código abierto de terceros cuyas condiciones de licencia debes revisar.
- Las imágenes de contenedor de NVIDIA con las que se puede utilizar tienen sus propias condiciones de licencia, que debes revisar antes de usarlas.
Temas
#model-compression#quantization#pruning#knowledge-distillation#inference-optimization#speculative-decoding#tensorrt#llm
Preguntas frecuentes
- ¿Qué es Model-Optimizer?
- Biblioteca open source de NVIDIA para comprimir modelos de deep learning mediante cuantización, poda, destilación, sparsity y speculative decoding, y acelerar la inferencia. NVIDIA Model Optimizer (ModelOpt) es una biblioteca de Python que aplica técnicas de optimización de modelos, como cuantización post-entrenamiento, entrenamiento consciente de la cuantización, poda, destilación de conocimiento, Neural Architecture Search, sparsity y speculative decoding. Acepta modelos de Hugging Face, PyTorch u ONNX como entrada y ofrece API de Python para combinar estas técnicas y exportar un checkpoint cuantizado y optimizado.
- ¿Model-Optimizer es gratuito? ¿Qué licencia tiene?
- Model-Optimizer es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿Model-Optimizer sigue mantenido?
- Mantenimiento activo. El último commit de Model-Optimizer fue el 6 nov 2026.
- ¿Para qué puedo usar Model-Optimizer?
- Cuantizar un LLM grande de Hugging Face a NVFP4 o FP8 antes de servirlo con vLLM o TensorRT-LLM Podar y destilar un modelo grande para obtener uno más pequeño que conserve la mayor parte de su calidad Añadir un módulo draft para acelerar la generación de tokens con speculative decoding Reducir la latencia de modelos de difusión en pipelines de generación de imágenes o video
- ¿Cómo se instala Model-Optimizer?
- Instala la versión estable desde PyPI: pip install -U nvidia-modelopt[all]
- ¿Dónde consigo Model-Optimizer?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/NVIDIA/Model-Optimizer
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
SliceGPT es un método de compresión posterior al entrenamiento que reduce modelos transformer, como los LLM, eliminando filas y columnas de las matrices de pesos.
466+2 esta semana59PythonMITActualizado hace 2 meses
Backend de Triton Inference Server que permite servir TensorRT-LLM y LLM compatibles con HuggingFace a través de las API HTTP y gRPC de Triton.
945145Apache-2.0Actualizado hace 5 días
Biblioteca de Python para comprimir LLM mediante cuantización y poda, y generar checkpoints que vLLM carga directamente para inferencia.
4 mil+19 esta semana730PythonApache-2.0Actualizado hace 23 horas
Un entorno de investigación unificado para comparar métodos de compresión, recuperación, combinación y cuantización de KV cache en inferencia de LLM con contextos largos.
1,4 mil+2 esta semana181PythonMITActualizado hace 3 meses
Kit de herramientas para cuantizar modelos de lenguaje grandes (GPTQ, AWQ, GGUF, FP8, EXL3 y más) y ejecutarlos en hardware NVIDIA, AMD, Intel, Apple y CPU.
1,3 mil+6 esta semana214PythonOtherActualizado ayer