$5のESP32-S3チップ上で動作し、Telegram経由で会話できる、純粋なC製のパーソナルAIアシスタントファームウェア。
espressif/esp-dl
ESP-PPQによるONNXから`.espdl`への量子化に対応した、Espressif ESPシリーズ向けの軽量ニューラルネットワーク推論フレームワーク。
- スター
- 1,191
- フォーク
- 229
- 未解決の Issue
- 47
- 最終コミット
- 3 時間前
これは何?
ESP-DLは、Espressif ESPシリーズのSoC向けに構築されたニューラルネットワーク推論フレームワークです。チップ上でAIモデルを読み込み、デバッグ、実行するためのAPIを提供し、ほかのEspressif SDKとともにESP-IDFプロジェクト内で使用するよう設計されています。
モデルの量子化にはESP-PPQを使用します。ESP-PPQはONNXモデルを直接読み込めるほか、ONNXを介してPyTorchやTensorFlowのモデルを変換できます。出力形式はFlatBuffersベースのコンパクトな`.espdl`で、ゼロコピーのデシリアライズに対応しています。量子化は8-bit、16-bit、またはレイヤーごとに設定する混合w8a16に対応します。また、指定したRAMサイズに応じて、レイヤーを内部RAMまたは外部メモリに配置する静的メモリプランナーを備えています。
リポジトリには、MobileNetV2やYOLO11の物体検出モデルなど、ESP-IDFコンポーネントとしてパッケージ化された量子化済みモデルのモデルZooに加え、演算子の対応一覧とサンプルも含まれています。
主な機能
- 01ESP-IDFを通じて、ESP32シリーズのチップ上で`.espdl`モデルを読み込み、実行します。
- 02ESP-PPQでONNX、PyTorch、TensorFlowのモデルを量子化します。
- 031つのモデル内で8-bit、16-bit、混合w8a16の量子化に対応します。
- 04指定した内部RAMのサイズに応じて、レイヤーをメモリに自動配置します。
- 05Conv2DとDepthwiseConv2Dの処理を2つのコアに分割します。
- 06量子化済みモデルをESP-IDFコンポーネントとしてパッケージ化したモデルZooを同梱しています。
ユースケース
- ESP32-S3やESP32-P4デバイス上で、YOLO11などの物体検出モデルを実行する。
- ESP-IDFを使った製品に、オンデバイスOCRやその他の画像推論機能を追加する。
- Espressifのチップにデプロイするため、独自のONNXモデルを量子化する。
クイックスタート
- 1
ESP-IDF Programming Guideに従って、ESP-IDF release/v5.3以降をインストールします
- 2
PyTorchのCPU版をインストールします(READMEに記載されているLinuxの例を参照)
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cpu - 3
独自のモデルを量子化するためにESP-PPQをインストールします
pip install esp-ppq - 4
how-to-run-modelチュートリアルに従って、ボードにモデルを読み込んで実行します
使う前に知っておきたいこと
- Espressif ESPシリーズのチップのみで動作し、ESP-IDF v5.3以降が必要です。
- オペレーターサポート表に記載されているオペレーターのみ使用できます。未対応のオペレーターを使うには、新たに実装して貢献する必要があります。
- ESP-PPQによる量子化にはPython環境が必要です。また、モデルを事前にONNX形式でエクスポートする必要があります。
トピック
よくある質問
- esp-dl とは?
- ESP-PPQによるONNXから`.espdl`への量子化に対応した、Espressif ESPシリーズ向けの軽量ニューラルネットワーク推論フレームワーク。 ESP-DLは、Espressif ESPシリーズのSoC向けに構築されたニューラルネットワーク推論フレームワークです。チップ上でAIモデルを読み込み、デバッグ、実行するためのAPIを提供し、ほかのEspressif SDKとともにESP-IDFプロジェクト内で使用するよう設計されています。
- esp-dl は無料で使えますか?ライセンスは?
- esp-dl は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
- esp-dl は今もメンテナンスされていますか?
- 活発にメンテナンス中。esp-dl の最終コミットは 2026年10月22日 です。
- esp-dl は何に使えますか?
- ESP32-S3やESP32-P4デバイス上で、YOLO11などの物体検出モデルを実行する。 ESP-IDFを使った製品に、オンデバイスOCRやその他の画像推論機能を追加する。 Espressifのチップにデプロイするため、独自のONNXモデルを量子化する。
- esp-dl のインストール方法は?
- ESP-IDF Programming Guideに従って、ESP-IDF release/v5.3以降をインストールします PyTorchのCPU版をインストールします(READMEに記載されているLinuxの例を参照): pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cpu 独自のモデルを量子化するためにESP-PPQをインストールします: pip install esp-ppq how-to-run-modelチュートリアルに従って、ボードにモデルを読み込んで実行します
- esp-dl はどこで入手できますか?
- ソースコードとインストール手順は GitHub にあります:https://github.com/espressif/esp-dl
概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。
関連プロジェクト
PyTorchのオンデバイス推論スタック。エクスポートしたモデルをスマートフォン、ノートPC、ブラウザ、マイクロコントローラーで実行できます。
学習済みAIモデルをRKNN形式に変換し、Python APIやC APIを使ってRockchip NPU搭載ボードで推論を実行するSDK。
MLIRベースのコンパイラとランタイム。MLモデルを統一IRに変換し、データセンターからモバイル・エッジデバイスまで展開できます。
外部依存なしで2D/3D描画、入力、音声、クロスプラットフォーム対応を提供する、ゲーム開発向けのシンプルなCライブラリ。
ESP32を、Wi-Fi信号の変化から動きを検知するプライベートなローカルWi-Fiモーションセンサーにします。カメラやマイクは不要です。