Stack de inferencia en el dispositivo de PyTorch para ejecutar modelos exportados en teléfonos, laptops, navegadores y microcontroladores.
5,1 mil1,2 milPythonOtherActualizado ayer
alibaba/MNN
MNN es un motor ligero de inferencia y entrenamiento de deep learning de Alibaba, diseñado para ejecutar modelos en dispositivos móviles e integrados, incluidos LLM en el dispositivo.
Alternativa open source a:TensorFlow Lite
- Estrellas
- 16,256
- Forks
- 2,482
- Issues abiertos
- 75
- Último commit
- hace 8 horas
¿Qué es?
MNN es un framework de deep learning de Alibaba que admite tanto inferencia como entrenamiento, y se centra en ejecutar modelos de forma eficiente en dispositivos en lugar de en la nube. Convierte modelos de TensorFlow, Caffe, ONNX y TorchScript a su propio formato y los ejecuta en backends de CPU y GPU, incluidos ARM, x86, Metal, OpenCL, Vulkan y CUDA.
El proyecto también incluye los runtimes MNN-LLM y MNN-Diffusion para desplegar localmente modelos de lenguaje grandes y Stable Diffusion en teléfonos, PC y hardware IoT. Las herramientas complementarias incluyen conversión y compresión de modelos, una API de Python y una biblioteca de procesamiento de imágenes similar a OpenCV.
El README indica que el motor está integrado en más de 30 aplicaciones de Alibaba y se utiliza en dispositivos integrados, como hardware IoT. Es compatible con iOS 8.0+, Android 4.3+ y sistemas integrados basados en POSIX.
Funciones clave
- 01Convierte modelos de TensorFlow, Caffe, ONNX y TorchScript al formato MNN.
- 02Ejecuta inferencias en CPU (ARM, x86) y en backends de GPU como Metal, OpenCL, Vulkan y CUDA.
- 03Admite cuantización FP16 e Int8 para reducir el tamaño de los modelos.
- 04Ofrece el runtime MNN-LLM para ejecutar modelos de lenguaje grandes en dispositivos locales.
- 05Incluye una API de Python y un módulo ligero de procesamiento de imágenes similar a OpenCV.
Casos de uso
- Ejecutar LLM o modelos de difusión sin conexión en aplicaciones de Android o iOS.
- Desplegar modelos de visión por computadora en hardware integrado o IoT.
- Acelerar modelos de ONNX o TensorFlow en GPU móviles sin depender de un backend en la nube.
Inicio rápido
- 1
Lee la documentación de MNN en Read the Docs
- 2
Descarga MNN Workbench desde la página principal de MNN (www.mnn.zone)
Antes de usarlo
- La compatibilidad varía según el backend: en el README, varias combinaciones de CPU, GPU y NPU figuran como problemáticas, no optimizadas o no compatibles.
- Los debates de la comunidad se desarrollan principalmente en chino, y el soporte en inglés es limitado.
Temas
Preguntas frecuentes
- ¿Qué es MNN?
- MNN es un motor ligero de inferencia y entrenamiento de deep learning de Alibaba, diseñado para ejecutar modelos en dispositivos móviles e integrados, incluidos LLM en el dispositivo. MNN es un framework de deep learning de Alibaba que admite tanto inferencia como entrenamiento, y se centra en ejecutar modelos de forma eficiente en dispositivos en lugar de en la nube. Convierte modelos de TensorFlow, Caffe, ONNX y TorchScript a su propio formato y los ejecuta en backends de CPU y GPU, incluidos ARM, x86, Metal, OpenCL, Vulkan y CUDA.
- ¿MNN es gratuito? ¿Qué licencia tiene?
- MNN es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿MNN sigue mantenido?
- Mantenimiento activo. El último commit de MNN fue el 21 oct 2026.
- ¿Para qué puedo usar MNN?
- Ejecutar LLM o modelos de difusión sin conexión en aplicaciones de Android o iOS. Desplegar modelos de visión por computadora en hardware integrado o IoT. Acelerar modelos de ONNX o TensorFlow en GPU móviles sin depender de un backend en la nube.
- ¿Cómo se instala MNN?
- Lee la documentación de MNN en Read the Docs Descarga MNN Workbench desde la página principal de MNN (www.mnn.zone)
- ¿Dónde consigo MNN?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/alibaba/MNN
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Plataforma open source integral para crear e implementar modelos de machine learning, con API para Python y C++.
201,2 mil79,8 milC++Apache-2.0Actualizado ayer
Una biblioteca de optimización de deep learning que facilita y hace más eficiente el entrenamiento distribuido y la inferencia de modelos grandes.
43,2 mil5 milPythonApache-2.0Actualizado anteayer
Sistema de entrenamiento e inferencia distribuidos, basado en PyTorch, para modelos grandes de IA, con paralelismo, optimización de memoria y entrenamiento heterogéneo.
IA y Machine Learning#deep-learning#distributed-training#model-parallelism#pipeline-parallelism#pytorch
41,4 mil4,5 milPythonApache-2.0Actualizado hace 8 horas
Implementación oficial de FlashAttention, un kernel de atención exacta y eficiente en memoria para entrenar e inferir con modelos Transformer en GPU.
25,2 mil3,2 milPythonBSD-3-ClauseActualizado ayer
App de Google AI Edge para Android e iOS que permite probar LLMs open source y casos de uso de GenAI en el dispositivo, sin conexión.
25 mil2,8 milKotlinApache-2.0Actualizado ayer