NVIDIA/Model-Optimizer

Что это?

Ключевые возможности

• 01Посттренировочное квантование и обучение с учетом квантования, в том числе в форматах NVFP4 и FP8
• 02Структурированный pruning и дистилляция знаний для уменьшения размера LLM
• 03Спекулятивное декодирование и методы разреженности
• 04Экспорт квантованных чекпойнтов для TensorRT-LLM, vLLM и SGLang
• 05Поддержка моделей Hugging Face, PyTorch и ONNX на входе

Сценарии использования

• Квантование крупной LLM с Hugging Face в NVFP4 или FP8 перед запуском с помощью vLLM или TensorRT-LLM
• Pruning и дистилляция крупной модели для создания меньшей модели, сохраняющей большую часть качества
• Добавление чернового модуля для ускорения генерации токенов с помощью спекулятивного декодирования
• Снижение задержки диффузионных моделей в конвейерах генерации изображений или видео

Быстрый старт

1. 1

   Установите стабильную версию из PyPI

   pip install -U nvidia-modelopt[all]

Что важно знать

• !При установке также устанавливаются дополнительные сторонние проекты с открытым исходным кодом. Ознакомьтесь с условиями их лицензий.
• !Образы контейнеров NVIDIA, с которыми можно использовать это ПО, имеют собственные условия лицензии. Ознакомьтесь с ними перед использованием.

Темы

Частые вопросы

Что такое Model-Optimizer?

Библиотека NVIDIA с открытым исходным кодом для сжатия моделей глубокого обучения с помощью квантования, pruning, дистилляции, разреженности и спекулятивного декодирования, ускоряющих инференс. NVIDIA Model Optimizer (ModelOpt) — это библиотека Python, которая применяет методы оптимизации моделей: посттренировочное квантование, обучение с учетом квантования, pruning, дистилляцию знаний, Neural Architecture Search, разреженность и спекулятивное декодирование. На вход она принимает модели Hugging Face, PyTorch или ONNX и предоставляет API Python для комбинирования этих методов и экспорта оптимизированного квантованного чекпойнта.

Model-Optimizer можно использовать бесплатно? Какая у него лицензия?

Model-Optimizer распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.

Model-Optimizer всё ещё поддерживается?

Активно поддерживается. Последний коммит в Model-Optimizer — 7 нояб. 2026 г..

Для чего можно использовать Model-Optimizer?

Квантование крупной LLM с Hugging Face в NVFP4 или FP8 перед запуском с помощью vLLM или TensorRT-LLM Pruning и дистилляция крупной модели для создания меньшей модели, сохраняющей большую часть качества Добавление чернового модуля для ускорения генерации токенов с помощью спекулятивного декодирования Снижение задержки диффузионных моделей в конвейерах генерации изображений или видео

Как установить Model-Optimizer?

Установите стабильную версию из PyPI: pip install -U nvidia-modelopt[all]

Где скачать Model-Optimizer?

Исходный код и инструкции по установке — на GitHub: https://github.com/NVIDIA/Model-Optimizer