Firmware de asistente personal con IA, escrito íntegramente en C, que funciona en un chip ESP32-S3 de 5 USD y conversa contigo por Telegram.
espressif/esp-dl
Framework ligero de inferencia de redes neuronales para ejecutar modelos de IA en chips de la serie ESP de Espressif, con una ruta de cuantización de ONNX a .espdl mediante ESP-PPQ.
- Estrellas
- 1,191
- Forks
- 229
- Issues abiertos
- 47
- Último commit
- hace 3 horas
¿Qué es?
ESP-DL es un framework de inferencia de redes neuronales diseñado para los SoC de la serie ESP de Espressif. Ofrece APIs para cargar, depurar y ejecutar modelos de IA en el chip, y está pensado para usarse en proyectos de ESP-IDF junto con otros SDK de Espressif.
Los modelos se cuantizan con ESP-PPQ, que lee modelos ONNX directamente y puede convertir modelos de PyTorch y TensorFlow a través de ONNX. El resultado es el formato compacto `.espdl`, basado en FlatBuffers y compatible con la deserialización sin copias. La cuantización puede ser de 8 bits, de 16 bits o mixta w8a16 por capa. Además, un planificador de memoria estática ubica las capas en la RAM interna o en la memoria externa según el tamaño de RAM que especifiques.
El repositorio también incluye un catálogo de modelos prequantizados, como MobileNetV2 y modelos de detección YOLO11, cada uno empaquetado como componente de ESP-IDF, además de una lista de operadores compatibles y ejemplos.
Funciones clave
- 01Carga y ejecuta modelos `.espdl` en chips de la serie ESP32 mediante ESP-IDF.
- 02Cuantiza modelos de ONNX, PyTorch y TensorFlow con ESP-PPQ.
- 03Admite cuantización de 8 bits, de 16 bits y mixta w8a16 dentro de un mismo modelo.
- 04Ubica automáticamente las capas en memoria según el tamaño de la RAM interna que configures.
- 05Distribuye el trabajo de Conv2D y DepthwiseConv2D entre ambos núcleos.
- 06Incluye un catálogo de modelos prequantizados empaquetados como componentes de ESP-IDF.
Casos de uso
- Ejecutar un modelo de detección de objetos, como YOLO11, en un dispositivo ESP32-S3 o ESP32-P4.
- Añadir OCR u otras tareas de inferencia de visión en el dispositivo a un producto basado en ESP-IDF.
- Cuantizar un modelo ONNX personalizado para implementarlo en chips de Espressif.
Inicio rápido
- 1
Instala ESP-IDF release/v5.3 o una versión posterior siguiendo la guía de programación de ESP-IDF
- 2
Instala la versión de CPU de PyTorch (consulta el ejemplo para Linux del README)
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cpu - 3
Instala ESP-PPQ para cuantizar tus propios modelos
pip install esp-ppq - 4
Sigue el tutorial how-to-run-model para cargar y ejecutar un modelo en tu placa
Antes de usarlo
- Solo funciona en chips de la serie ESP de Espressif y requiere ESP-IDF v5.3 o posterior.
- Solo se pueden usar los operadores incluidos en la tabla de operadores compatibles; para usar otros, es necesario contribuir con nuevas implementaciones.
- La cuantización con ESP-PPQ requiere un entorno de Python y exportar primero los modelos a ONNX.
Temas
Preguntas frecuentes
- ¿Qué es esp-dl?
- Framework ligero de inferencia de redes neuronales para ejecutar modelos de IA en chips de la serie ESP de Espressif, con una ruta de cuantización de ONNX a .espdl mediante ESP-PPQ. ESP-DL es un framework de inferencia de redes neuronales diseñado para los SoC de la serie ESP de Espressif. Ofrece APIs para cargar, depurar y ejecutar modelos de IA en el chip, y está pensado para usarse en proyectos de ESP-IDF junto con otros SDK de Espressif.
- ¿esp-dl es gratuito? ¿Qué licencia tiene?
- esp-dl es open source bajo la licencia MIT. Revisa los términos de la licencia antes de usarlo en productos comerciales.
- ¿esp-dl sigue mantenido?
- Mantenimiento activo. El último commit de esp-dl fue el 22 oct 2026.
- ¿Para qué puedo usar esp-dl?
- Ejecutar un modelo de detección de objetos, como YOLO11, en un dispositivo ESP32-S3 o ESP32-P4. Añadir OCR u otras tareas de inferencia de visión en el dispositivo a un producto basado en ESP-IDF. Cuantizar un modelo ONNX personalizado para implementarlo en chips de Espressif.
- ¿Cómo se instala esp-dl?
- Instala ESP-IDF release/v5.3 o una versión posterior siguiendo la guía de programación de ESP-IDF Instala la versión de CPU de PyTorch (consulta el ejemplo para Linux del README): pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cpu Instala ESP-PPQ para cuantizar tus propios modelos: pip install esp-ppq Sigue el tutorial how-to-run-model para cargar y ejecutar un modelo en tu placa
- ¿Dónde consigo esp-dl?
- El código fuente y las instrucciones de instalación están en GitHub: https://github.com/espressif/esp-dl
Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.
Proyectos relacionados
Stack de inferencia en el dispositivo de PyTorch para ejecutar modelos exportados en teléfonos, laptops, navegadores y microcontroladores.
SDK para convertir modelos de IA entrenados al formato RKNN y ejecutar inferencias en placas Rockchip con NPU mediante APIs de Python y C.
Compilador y runtime basados en MLIR que traducen modelos de ML a una IR unificada para desplegarlos desde centros de datos hasta dispositivos móviles y edge.
Una biblioteca C sencilla para crear videojuegos, con gráficos 2D y 3D, entrada, audio y soporte multiplataforma, sin dependencias externas.
Convierte un ESP32 en un sensor de movimiento Wi-Fi privado y local que detecta movimiento a partir de cambios en las señales Wi-Fi, sin cámara ni micrófono.