alibaba/MNN

Что это?

Ключевые возможности

• 01Конвертирует модели TensorFlow, Caffe, ONNX и TorchScript в формат MNN.
• 02Запускает инференс на CPU (ARM, x86) и GPU-бэкендах, включая Metal, OpenCL, Vulkan и CUDA.
• 03Поддерживает квантование FP16 и Int8 для уменьшения размера моделей.
• 04Предоставляет рантайм MNN-LLM для запуска больших языковых моделей на локальных устройствах.
• 05Предлагает Python API и лёгкий модуль обработки изображений, похожий на OpenCV.

Сценарии использования

• Запуск LLM или диффузионных моделей без подключения к сети в приложениях для Android и iOS.
• Развёртывание моделей компьютерного зрения на встроенных устройствах или IoT-оборудовании.
• Ускорение моделей ONNX или TensorFlow на мобильных GPU без облачного бэкенда.

Быстрый старт

1. 1

   Читайте документацию MNN на Read the Docs

2. 2

   Скачайте MNN Workbench с главной страницы MNN (www.mnn.zone)

Что важно знать

• !Поддержка зависит от backend: в README несколько сочетаний CPU, GPU и NPU отмечены как проблемные, неоптимизированные или неподдерживаемые.
• !Обсуждения сообщества ведутся преимущественно на китайском языке, а поддержка английского ограничена.

Темы

Частые вопросы

Что такое MNN?

MNN — лёгкий движок Alibaba для инференса и обучения моделей глубокого обучения на мобильных и встроенных устройствах, включая запуск LLM прямо на устройстве. MNN — фреймворк Alibaba для глубокого обучения, поддерживающий инференс и обучение и предназначенный для эффективного запуска моделей на устройствах, а не в облаке. Он конвертирует модели из TensorFlow, Caffe, ONNX и TorchScript в собственный формат и запускает их на CPU- и GPU-бэкендах, включая ARM, x86, Metal, OpenCL, Vulkan и CUDA.

MNN можно использовать бесплатно? Какая у него лицензия?

MNN распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.

MNN всё ещё поддерживается?

Активно поддерживается. Последний коммит в MNN — 21 окт. 2026 г..

Для чего можно использовать MNN?

Запуск LLM или диффузионных моделей без подключения к сети в приложениях для Android и iOS. Развёртывание моделей компьютерного зрения на встроенных устройствах или IoT-оборудовании. Ускорение моделей ONNX или TensorFlow на мобильных GPU без облачного бэкенда.

Как установить MNN?

Читайте документацию MNN на Read the Docs Скачайте MNN Workbench с главной страницы MNN (www.mnn.zone)

Где скачать MNN?

Исходный код и инструкции по установке — на GitHub: https://github.com/alibaba/MNN