一款用纯 C 编写、运行在 5 美元 ESP32-S3 芯片上的个人 AI 助手固件,通过 Telegram 对话。
espressif/esp-dl
面向乐鑫 ESP 系列芯片的轻量级神经网络推理框架,用于在 AIoT 设备上运行 AI 模型。
- Star
- 1,191
- Fork
- 229
- 未关闭 Issue
- 47
- 最近提交
- 3小时前
这是什么?
ESP-DL 是专为乐鑫 ESP 系列芯片设计的神经网络推理框架,提供模型加载、调试和运行的 API,可在 ESP-IDF 项目中与其他乐鑫 SDK 配合使用。
模型量化由 ESP-PPQ 完成,它可以直接读取 ONNX 模型,PyTorch 和 TensorFlow 模型需先转换为 ONNX。导出的 `.espdl` 格式基于 FlatBuffers,支持零拷贝反序列化。量化方式包括 8 位、16 位以及逐层混合的 w8a16。静态内存规划器会根据用户指定的内部 RAM 大小,把各层分配到合适的存储位置。
仓库还提供预量化的模型库,例如 MobileNetV2 与 YOLO11 检测模型,每个模型都打包为 ESP-IDF 组件,并附有算子支持列表和示例代码。
核心功能
- 01通过 ESP-IDF 在 ESP32 系列芯片上加载并运行 `.espdl` 模型。
- 02借助 ESP-PPQ 量化 ONNX、PyTorch 和 TensorFlow 模型。
- 03同一模型内可混合使用 8 位、16 位及 w8a16 量化。
- 04根据设定的内部 RAM 大小,自动为各层分配存储位置。
- 05Conv2D 与 DepthwiseConv2D 支持双核调度。
- 06提供打包为 ESP-IDF 组件的预量化模型库。
适用场景
- 在 ESP32-S3 或 ESP32-P4 设备上运行 YOLO11 等目标检测模型。
- 为基于 ESP-IDF 的产品增加端侧 OCR 或其他视觉推理能力。
- 将自定义 ONNX 模型量化后部署到乐鑫芯片上。
快速上手
- 1
按照 ESP-IDF 编程指南安装 release/v5.3 或更高版本的 ESP-IDF
- 2
安装 PyTorch CPU 版本(README 中的 Linux 示例)
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cpu - 3
安装 ESP-PPQ 用于量化你自己的模型
pip install esp-ppq - 4
按照 how-to-run-model 教程在开发板上加载并运行模型
使用前须知
- 仅适用于乐鑫 ESP 系列芯片,需要 ESP-IDF v5.3 或更高版本。
- 只能使用算子支持列表中的算子,不支持的算子需要自行贡献实现。
- 使用 ESP-PPQ 量化需要 Python 环境,且 PyTorch 或 TensorFlow 模型需先导出为 ONNX。
标签
常见问题
- esp-dl 是什么?
- 面向乐鑫 ESP 系列芯片的轻量级神经网络推理框架,用于在 AIoT 设备上运行 AI 模型。 ESP-DL 是专为乐鑫 ESP 系列芯片设计的神经网络推理框架,提供模型加载、调试和运行的 API,可在 ESP-IDF 项目中与其他乐鑫 SDK 配合使用。
- esp-dl 可以免费使用吗?用的什么许可证?
- esp-dl 以 MIT 许可证开源。用于商业产品前,请先确认许可证条款。
- esp-dl 还在维护吗?
- 活跃维护中。esp-dl 最近一次提交是在 2026年10月22日。
- esp-dl 适合用来做什么?
- 在 ESP32-S3 或 ESP32-P4 设备上运行 YOLO11 等目标检测模型。 为基于 ESP-IDF 的产品增加端侧 OCR 或其他视觉推理能力。 将自定义 ONNX 模型量化后部署到乐鑫芯片上。
- esp-dl 怎么安装和运行?
- 按照 ESP-IDF 编程指南安装 release/v5.3 或更高版本的 ESP-IDF 安装 PyTorch CPU 版本(README 中的 Linux 示例): pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cpu 安装 ESP-PPQ 用于量化你自己的模型: pip install esp-ppq 按照 how-to-run-model 教程在开发板上加载并运行模型
- 在哪里获取 esp-dl?
- 源代码和安装说明在 GitHub 上:https://github.com/espressif/esp-dl
概要由 AI 根据项目 README 生成;GitHub 数据每日更新。
相关项目
PyTorch 官方的端侧推理框架,用于在手机、笔记本、浏览器和微控制器上运行模型。
用于将训练好的 AI 模型转换为 RKNN 格式,并在瑞芯微 NPU 设备上推理的 SDK。
基于 MLIR 的机器学习编译器与运行时,将模型统一降级到中间表示,覆盖数据中心到移动与边缘设备。
一个简单易用的 C 语言游戏编程库,提供 2D/3D 图形、输入、音频等功能,无外部依赖。
把 ESP32 变成本地运行的 Wi-Fi 动态感应器,通过无线信号变化检测移动,无需摄像头或麦克风。