Repolode
inisis

inisis/OnnxSlim

一个用于优化 ONNX 模型的 Python 工具包,在保持精度的同时减少算子数量,提升推理速度。

Star
521
Fork
44
未关闭 Issue
31
最近提交
4天前

这是什么?

OnnxSlim 通过去除冗余算子来精简 ONNX 模型,使生成的计算图更小,推理时通常更快。既可以在命令行中使用 `onnxslim 输入模型 输出模型` 完成优化,也可以在 Python 中加载模型后调用 `onnxslim.slim()` 并保存结果。

项目已发布到 PyPI,包名为 `onnxslim`,也支持从源码安装。多个开源项目已将其集成到模型导出或优化流程中,包括 Ultralytics、Hugging Face Optimum 和 transformers.js。

核心功能

  • 01在尽量保持精度的前提下减少 ONNX 计算图中的算子数量。
  • 02提供命令行工具,快速精简模型。
  • 03提供 Python 接口,输入已加载的 ONNX 模型并返回优化后的模型。
  • 04可通过 PyPI 或源码直接安装。

适用场景

  • 在使用 ONNX Runtime 部署前,减小 ONNX 模型体积并减少算子数量。
  • 在基于 PyTorch 等框架的模型导出流程中加入优化步骤。
  • 为 LLM 或视觉推理任务精简模型。

快速上手

  1. 1

    从 PyPI 安装预编译包

    pip install onnxslim
  2. 2

    在命令行中精简 ONNX 模型

    onnxslim your_onnx_model slimmed_onnx_model

标签

常见问题

OnnxSlim 是什么?
一个用于优化 ONNX 模型的 Python 工具包,在保持精度的同时减少算子数量,提升推理速度。 OnnxSlim 通过去除冗余算子来精简 ONNX 模型,使生成的计算图更小,推理时通常更快。既可以在命令行中使用 `onnxslim 输入模型 输出模型` 完成优化,也可以在 Python 中加载模型后调用 `onnxslim.slim()` 并保存结果。
OnnxSlim 可以免费使用吗?用的什么许可证?
OnnxSlim 以 MIT 许可证开源。用于商业产品前,请先确认许可证条款。
OnnxSlim 还在维护吗?
活跃维护中。OnnxSlim 最近一次提交是在 2026年10月16日。
OnnxSlim 适合用来做什么?
在使用 ONNX Runtime 部署前,减小 ONNX 模型体积并减少算子数量。 在基于 PyTorch 等框架的模型导出流程中加入优化步骤。 为 LLM 或视觉推理任务精简模型。
OnnxSlim 怎么安装和运行?
从 PyPI 安装预编译包: pip install onnxslim 在命令行中精简 ONNX 模型: onnxslim your_onnx_model slimmed_onnx_model
在哪里获取 OnnxSlim?
源代码和安装说明在 GitHub 上:https://github.com/inisis/OnnxSlim

概要由 AI 根据项目 README 生成;GitHub 数据每日更新。

相关项目