Repolode
提交项目
NVIDIA

NVIDIA/Model-Optimizer

英伟达开源的模型优化库，通过量化、剪枝、蒸馏等技术压缩模型，加速推理部署。

在 GitHub 查看官网
Star
5,553
Fork
803
未关闭 Issue
524
最近提交
3小时前

这是什么？

NVIDIA Model Optimizer（简称 ModelOpt）是一个 Python 库，提供训练后量化、量化感知训练、剪枝、知识蒸馏、神经架构搜索、稀疏化和投机解码等模型优化技术。输入可以是 Hugging Face、PyTorch 或 ONNX 模型，用户通过 Python API 组合这些技术，并导出优化后的量化检查点。

导出的检查点面向 TensorRT-LLM、TensorRT、vLLM 和 SGLang 等下游推理框架使用。项目还与 Megatron-LM、Megatron-Bridge 和 Hugging Face Accelerate 集成，用于训练阶段的推理优化；其 Hugging Face 导出接口同时支持 transformers 和 diffusers 模型。

仓库提供 LLM、VLM、扩散模型和 ONNX 的示例，并按模型类型列出支持矩阵，同时在 Hugging Face 上发布了若干预量化模型。

核心功能

  • 01支持训练后量化与量化感知训练，包括 NVFP4 和 FP8 格式
  • 02提供剪枝与知识蒸馏，用于压缩 LLM
  • 03支持投机解码和稀疏化技术
  • 04导出的量化检查点可用于 TensorRT-LLM、vLLM 和 SGLang
  • 05支持 Hugging Face、PyTorch 和 ONNX 模型输入

适用场景

  • 在使用 vLLM 或 TensorRT-LLM 部署前，将大型 Hugging Face LLM 量化为 NVFP4 或 FP8
  • 通过剪枝和蒸馏把大模型压缩为较小模型，同时保留大部分效果
  • 训练投机解码的草稿模块，加快 token 生成速度
  • 降低扩散模型图像或视频生成流程的推理延迟

快速上手

  1. 1

    从 PyPI 安装稳定版本

    pip install -U nvidia-modelopt[all]

使用前须知

  • 安装时会下载额外的第三方开源项目，使用前应审查其许可条款。
  • 可配合使用的 NVIDIA 容器镜像有各自的许可条款，使用前需先审查。

标签

#model-compression#quantization#pruning#knowledge-distillation#inference-optimization#speculative-decoding#tensorrt#llm

常见问题

Model-Optimizer 是什么？
英伟达开源的模型优化库，通过量化、剪枝、蒸馏等技术压缩模型，加速推理部署。 NVIDIA Model Optimizer（简称 ModelOpt）是一个 Python 库，提供训练后量化、量化感知训练、剪枝、知识蒸馏、神经架构搜索、稀疏化和投机解码等模型优化技术。输入可以是 Hugging Face、PyTorch 或 ONNX 模型，用户通过 Python API 组合这些技术，并导出优化后的量化检查点。
Model-Optimizer 可以免费使用吗？用的什么许可证？
Model-Optimizer 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。
Model-Optimizer 还在维护吗？
活跃维护中。Model-Optimizer 最近一次提交是在 2026年11月7日。
Model-Optimizer 适合用来做什么？
在使用 vLLM 或 TensorRT-LLM 部署前，将大型 Hugging Face LLM 量化为 NVFP4 或 FP8 通过剪枝和蒸馏把大模型压缩为较小模型，同时保留大部分效果 训练投机解码的草稿模块，加快 token 生成速度 降低扩散模型图像或视频生成流程的推理延迟
Model-Optimizer 怎么安装和运行？
从 PyPI 安装稳定版本: pip install -U nvidia-modelopt[all]
在哪里获取 Model-Optimizer？
源代码和安装说明在 GitHub 上：https://github.com/NVIDIA/Model-Optimizer

概要由 AI 根据项目 README 生成；GitHub 数据每日更新。

相关项目