Repolode
Enviar
alibaba

alibaba/MNN

MNN é um mecanismo leve de inferência e treinamento de deep learning da Alibaba, criado para executar modelos em dispositivos móveis e embarcados, incluindo LLMs no próprio dispositivo.

Alternativa open source a:TensorFlow Lite

Ver no GitHub
Estrelas
16,256
Forks
2,482
Issues abertas
75
Último commit
há 8 horas

O que é?

MNN é um framework de deep learning da Alibaba que oferece suporte tanto à inferência quanto ao treinamento, com foco em executar modelos com eficiência nos dispositivos, e não na nuvem. Ele converte modelos do TensorFlow, Caffe, ONNX e TorchScript para seu próprio formato e os executa em backends de CPU e GPU, incluindo ARM, x86, Metal, OpenCL, Vulkan e CUDA.

O projeto também inclui os runtimes MNN-LLM e MNN-Diffusion para implantar localmente grandes modelos de linguagem e Stable Diffusion em celulares, PCs e hardware de IoT. As ferramentas de suporte abrangem conversão e compressão de modelos, uma API Python e uma biblioteca de processamento de imagens semelhante ao OpenCV.

O README descreve o mecanismo como integrado a mais de 30 aplicativos da Alibaba e usado em dispositivos embarcados, como hardware de IoT. Ele é compatível com iOS 8.0+, Android 4.3+ e sistemas embarcados baseados em POSIX.

Recursos principais

  • 01Converte modelos do TensorFlow, Caffe, ONNX e TorchScript para o formato MNN.
  • 02Executa inferência em CPU (ARM, x86) e em backends de GPU, incluindo Metal, OpenCL, Vulkan e CUDA.
  • 03Oferece suporte à quantização FP16 e Int8 para reduzir o tamanho dos modelos.
  • 04Disponibiliza o runtime MNN-LLM para executar grandes modelos de linguagem em dispositivos locais.
  • 05Oferece uma API Python e um módulo leve de processamento de imagens semelhante ao OpenCV.

Casos de uso

  • Executar LLMs ou modelos de difusão offline em aplicativos Android ou iOS.
  • Implantar modelos de visão computacional em hardware embarcado ou de IoT.
  • Acelerar modelos ONNX ou TensorFlow em GPUs móveis sem depender de um backend na nuvem.

Início rápido

  1. 1

    Leia a documentação do MNN no Read the Docs

  2. 2

    Baixe o MNN Workbench na página inicial do MNN (www.mnn.zone)

Antes de usar

  • O suporte varia conforme o backend: no README, várias combinações de CPU, GPU e NPU são indicadas como problemáticas, não otimizadas ou sem suporte.
  • As discussões da comunidade são principalmente em chinês, e o suporte em inglês é limitado.

Tópicos

#deep-learning#inference-engine#on-device-ai#llm#edge-ai#mobile#arm#gpu#convolution#embedded-devices

Perguntas frequentes

O que é MNN?
MNN é um mecanismo leve de inferência e treinamento de deep learning da Alibaba, criado para executar modelos em dispositivos móveis e embarcados, incluindo LLMs no próprio dispositivo. MNN é um framework de deep learning da Alibaba que oferece suporte tanto à inferência quanto ao treinamento, com foco em executar modelos com eficiência nos dispositivos, e não na nuvem. Ele converte modelos do TensorFlow, Caffe, ONNX e TorchScript para seu próprio formato e os executa em backends de CPU e GPU, incluindo ARM, x86, Metal, OpenCL, Vulkan e CUDA.
MNN é gratuito? Qual é a licença?
MNN é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
MNN ainda é mantido?
Manutenção ativa. O último commit de MNN foi em 21 de out. de 2026.
Para que posso usar MNN?
Executar LLMs ou modelos de difusão offline em aplicativos Android ou iOS. Implantar modelos de visão computacional em hardware embarcado ou de IoT. Acelerar modelos ONNX ou TensorFlow em GPUs móveis sem depender de um backend na nuvem.
Como instalar MNN?
Leia a documentação do MNN no Read the Docs Baixe o MNN Workbench na página inicial do MNN (www.mnn.zone)
Onde consigo MNN?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/alibaba/MNN

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados