Framework de inferencia de redes neuronales de alto rendimiento en C++ para ejecutar modelos de deep learning en dispositivos móviles, integrados y de escritorio.
Alternativa open source a:TensorFlow Lite
Core ML
ncnn es un framework de inferencia de redes neuronales escrito en C++ para desplegar modelos entrenados en teléfonos, PC, navegadores y dispositivos edge. No tiene dependencias de ejecución de terceros y funciona en CPU con optimizaciones ARM NEON o en GPU Vulkan.
Los modelos de PyTorch y ONNX se convierten con la herramienta pnnx al formato .param y .bin de ncnn y luego se cargan mediante una API de C++, C o Python. El proyecto admite grafos con múltiples entradas y salidas, inferencia cuantizada fp16 e int8 y capas personalizadas. Las instrucciones de compilación abarcan Linux, Windows, macOS, Android, iOS, HarmonyOS, WebAssembly y varias placas integradas.
Según la documentación, varias aplicaciones de Tencent utilizan el proyecto, entre ellas QQ, Qzone y WeChat. También incluye ejemplos de modelos CNN clásicos, como YOLO y MobileNet, además de cargas de trabajo más recientes, como demos de LLM y generación de imágenes.
Instala pnnx en un entorno de PyTorch
pip3 install pnnxExporta un modelo de PyTorch a ncnn con pnnx.export
Carga el modelo generado y ejecuta la inferencia con la API de C++ o Python de ncnn
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Ultralytics YOLOv5 es un kit de herramientas de visión artificial basado en PyTorch para detectar objetos, segmentar instancias y clasificar imágenes, con funciones de entrenamiento y exportación.
Visor de modelos de redes neuronales, deep learning y machine learning, compatible con ONNX, TensorFlow, PyTorch, Core ML y muchos otros formatos.
Stack de inferencia en el dispositivo de PyTorch para ejecutar modelos exportados en teléfonos, laptops, navegadores y microcontroladores.
Framework de Python para comprimir redes neuronales mediante cuantización, pruning y sparsity, y acelerar la inferencia en OpenVINO, PyTorch y ONNX.
Implementación en PyTorch del Vision Transformer (ViT) y muchas de sus variantes para clasificación de imágenes y otras tareas de visión.
Biblioteca de tensores y framework de deep learning en Rust para entrenamiento e inferencia con backends CUDA, ROCm, Metal, Vulkan, WebGPU y CPU.