Repolode
提交项目
alibaba

alibaba/MNN

MNN 是阿里巴巴开源的轻量级深度学习推理与训练引擎，适用于移动端、嵌入式设备及端侧大模型部署。

可替代:TensorFlow Lite

在 GitHub 查看
Star
16,256
Fork
2,482
未关闭 Issue
75
最近提交
7小时前

这是什么？

MNN 是阿里巴巴开发的深度学习框架，支持模型推理与训练，重点在于让模型高效运行在终端设备上，而非依赖云端。它可将 TensorFlow、Caffe、ONNX、TorchScript 等模型转换为自有格式，并在 ARM、x86 CPU，以及 Metal、OpenCL、Vulkan、CUDA 等 GPU 后端上执行。

项目还提供 MNN-LLM 和 MNN-Diffusion 运行时，可在手机、PC 和 IoT 设备上本地部署大语言模型与 Stable Diffusion。配套工具包括模型转换、模型压缩、Python API，以及类 OpenCV 的图像处理库 MNN-CV。

项目支持 iOS 8.0 及以上、Android 4.3 及以上系统，以及基于 POSIX 接口的嵌入式设备，已集成到阿里巴巴旗下 30 多款应用中。

核心功能

  • 01可将 TensorFlow、Caffe、ONNX、TorchScript 模型转换为 MNN 格式。
  • 02支持 ARM、x86 CPU，以及 Metal、OpenCL、Vulkan、CUDA 等 GPU 推理。
  • 03支持 FP16 与 Int8 量化，可减小模型体积。
  • 04提供 MNN-LLM 运行时，用于在本地设备运行大语言模型。
  • 05提供 Python API 和轻量的类 OpenCV 图像处理模块。

适用场景

  • 在 Android 或 iOS 应用中离线运行大语言模型或扩散模型。
  • 在嵌入式或 IoT 硬件上部署计算机视觉模型。
  • 在移动端 GPU 上加速 ONNX 或 TensorFlow 模型，无需云端服务。

快速上手

  1. 1

    阅读 Read the Docs 上的 MNN 文档

  2. 2

    从 MNN 官网（www.mnn.zone）下载 MNN Workbench

使用前须知

  • 各后端支持程度不一：README 中多个 CPU、GPU 和 NPU 组合被标为有缺陷、未优化或不支持。
  • 社区讨论以中文为主，英文支持有限。

标签

#deep-learning#inference-engine#on-device-ai#llm#edge-ai#mobile#arm#gpu#convolution#embedded-devices

常见问题

MNN 是什么？
MNN 是阿里巴巴开源的轻量级深度学习推理与训练引擎，适用于移动端、嵌入式设备及端侧大模型部署。 MNN 是阿里巴巴开发的深度学习框架，支持模型推理与训练，重点在于让模型高效运行在终端设备上，而非依赖云端。它可将 TensorFlow、Caffe、ONNX、TorchScript 等模型转换为自有格式，并在 ARM、x86 CPU，以及 Metal、OpenCL、Vulkan、CUDA 等 GPU 后端上执行。
MNN 可以免费使用吗？用的什么许可证？
MNN 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。
MNN 还在维护吗？
活跃维护中。MNN 最近一次提交是在 2026年10月21日。
MNN 适合用来做什么？
在 Android 或 iOS 应用中离线运行大语言模型或扩散模型。 在嵌入式或 IoT 硬件上部署计算机视觉模型。 在移动端 GPU 上加速 ONNX 或 TensorFlow 模型，无需云端服务。
MNN 怎么安装和运行？
阅读 Read the Docs 上的 MNN 文档 从 MNN 官网（www.mnn.zone）下载 MNN Workbench
在哪里获取 MNN？
源代码和安装说明在 GitHub 上：https://github.com/alibaba/MNN

概要由 AI 根据项目 README 生成；GitHub 数据每日更新。

相关项目