Repolode
espressif

espressif/esp-dl

面向乐鑫 ESP 系列芯片的轻量级神经网络推理框架,用于在 AIoT 设备上运行 AI 模型。

Star
1,191
Fork
229
未关闭 Issue
47
最近提交
3小时前

这是什么?

ESP-DL 是专为乐鑫 ESP 系列芯片设计的神经网络推理框架,提供模型加载、调试和运行的 API,可在 ESP-IDF 项目中与其他乐鑫 SDK 配合使用。

模型量化由 ESP-PPQ 完成,它可以直接读取 ONNX 模型,PyTorch 和 TensorFlow 模型需先转换为 ONNX。导出的 `.espdl` 格式基于 FlatBuffers,支持零拷贝反序列化。量化方式包括 8 位、16 位以及逐层混合的 w8a16。静态内存规划器会根据用户指定的内部 RAM 大小,把各层分配到合适的存储位置。

仓库还提供预量化的模型库,例如 MobileNetV2 与 YOLO11 检测模型,每个模型都打包为 ESP-IDF 组件,并附有算子支持列表和示例代码。

核心功能

  • 01通过 ESP-IDF 在 ESP32 系列芯片上加载并运行 `.espdl` 模型。
  • 02借助 ESP-PPQ 量化 ONNX、PyTorch 和 TensorFlow 模型。
  • 03同一模型内可混合使用 8 位、16 位及 w8a16 量化。
  • 04根据设定的内部 RAM 大小,自动为各层分配存储位置。
  • 05Conv2D 与 DepthwiseConv2D 支持双核调度。
  • 06提供打包为 ESP-IDF 组件的预量化模型库。

适用场景

  • 在 ESP32-S3 或 ESP32-P4 设备上运行 YOLO11 等目标检测模型。
  • 为基于 ESP-IDF 的产品增加端侧 OCR 或其他视觉推理能力。
  • 将自定义 ONNX 模型量化后部署到乐鑫芯片上。

快速上手

  1. 1

    按照 ESP-IDF 编程指南安装 release/v5.3 或更高版本的 ESP-IDF

  2. 2

    安装 PyTorch CPU 版本(README 中的 Linux 示例)

    pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cpu
  3. 3

    安装 ESP-PPQ 用于量化你自己的模型

    pip install esp-ppq
  4. 4

    按照 how-to-run-model 教程在开发板上加载并运行模型

使用前须知

  • 仅适用于乐鑫 ESP 系列芯片,需要 ESP-IDF v5.3 或更高版本。
  • 只能使用算子支持列表中的算子,不支持的算子需要自行贡献实现。
  • 使用 ESP-PPQ 量化需要 Python 环境,且 PyTorch 或 TensorFlow 模型需先导出为 ONNX。

标签

常见问题

esp-dl 是什么?
面向乐鑫 ESP 系列芯片的轻量级神经网络推理框架,用于在 AIoT 设备上运行 AI 模型。 ESP-DL 是专为乐鑫 ESP 系列芯片设计的神经网络推理框架,提供模型加载、调试和运行的 API,可在 ESP-IDF 项目中与其他乐鑫 SDK 配合使用。
esp-dl 可以免费使用吗?用的什么许可证?
esp-dl 以 MIT 许可证开源。用于商业产品前,请先确认许可证条款。
esp-dl 还在维护吗?
活跃维护中。esp-dl 最近一次提交是在 2026年10月22日。
esp-dl 适合用来做什么?
在 ESP32-S3 或 ESP32-P4 设备上运行 YOLO11 等目标检测模型。 为基于 ESP-IDF 的产品增加端侧 OCR 或其他视觉推理能力。 将自定义 ONNX 模型量化后部署到乐鑫芯片上。
esp-dl 怎么安装和运行?
按照 ESP-IDF 编程指南安装 release/v5.3 或更高版本的 ESP-IDF 安装 PyTorch CPU 版本(README 中的 Linux 示例): pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cpu 安装 ESP-PPQ 用于量化你自己的模型: pip install esp-ppq 按照 how-to-run-model 教程在开发板上加载并运行模型
在哪里获取 esp-dl?
源代码和安装说明在 GitHub 上:https://github.com/espressif/esp-dl

概要由 AI 根据项目 README 生成;GitHub 数据每日更新。

相关项目