Repolode
espressif

espressif/esp-dl

Framework leve de inferência de redes neurais para executar modelos de IA em chips da série ESP da Espressif, com fluxo de quantização de ONNX para .espdl via ESP-PPQ.

Estrelas
1,191
Forks
229
Issues abertas
47
Último commit
há 3 horas

O que é?

ESP-DL é um framework de inferência de redes neurais desenvolvido para SoCs da série ESP da Espressif. Ele oferece APIs para carregar, depurar e executar modelos de IA no chip, e foi projetado para uso em projetos ESP-IDF junto com outros SDKs da Espressif.

Os modelos são quantizados com ESP-PPQ, que lê modelos ONNX diretamente e pode converter modelos do PyTorch e do TensorFlow por meio do ONNX. O resultado é o formato compacto `.espdl`, baseado em FlatBuffers e compatível com desserialização sem cópia. A quantização pode ser de 8 bits, 16 bits ou mista w8a16 por camada, e um planejador estático de memória aloca as camadas na RAM interna ou na memória externa conforme o tamanho de RAM especificado.

O repositório também inclui um catálogo de modelos pré-quantizados, como MobileNetV2 e modelos de detecção YOLO11, cada um empacotado como um componente ESP-IDF, além de uma lista de operadores compatíveis e exemplos.

Recursos principais

  • 01Carrega e executa modelos `.espdl` em chips da série ESP32 usando ESP-IDF.
  • 02Quantiza modelos ONNX, PyTorch e TensorFlow com ESP-PPQ.
  • 03Oferece suporte à quantização de 8 bits, 16 bits e mista w8a16 em um mesmo modelo.
  • 04Aloca automaticamente as camadas na memória de acordo com o tamanho definido para a RAM interna.
  • 05Distribui o processamento de Conv2D e DepthwiseConv2D entre os dois núcleos.
  • 06Inclui um catálogo de modelos pré-quantizados, empacotados como componentes ESP-IDF.

Casos de uso

  • Executar um modelo de detecção de objetos, como YOLO11, em um dispositivo ESP32-S3 ou ESP32-P4.
  • Adicionar OCR no dispositivo ou outras inferências de visão a um produto baseado em ESP-IDF.
  • Quantizar um modelo ONNX personalizado para implantação em chips da Espressif.

Início rápido

  1. 1

    Instale o ESP-IDF release/v5.3 ou posterior seguindo o Guia de Programação do ESP-IDF

  2. 2

    Instale a versão CPU do PyTorch (consulte o exemplo para Linux no README)

    pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cpu
  3. 3

    Instale o ESP-PPQ para quantizar seus próprios modelos

    pip install esp-ppq
  4. 4

    Siga o tutorial how-to-run-model para carregar e executar um modelo na sua placa

Antes de usar

  • Funciona apenas em chips da série ESP da Espressif e requer o ESP-IDF v5.3 ou posterior.
  • Só é possível usar os operadores listados na tabela de suporte a operadores; para usar operadores não suportados, é necessário contribuir com novas implementações.
  • A quantização com ESP-PPQ requer um ambiente Python e que os modelos sejam exportados primeiro para ONNX.

Tópicos

Perguntas frequentes

O que é esp-dl?
Framework leve de inferência de redes neurais para executar modelos de IA em chips da série ESP da Espressif, com fluxo de quantização de ONNX para .espdl via ESP-PPQ. ESP-DL é um framework de inferência de redes neurais desenvolvido para SoCs da série ESP da Espressif. Ele oferece APIs para carregar, depurar e executar modelos de IA no chip, e foi projetado para uso em projetos ESP-IDF junto com outros SDKs da Espressif.
esp-dl é gratuito? Qual é a licença?
esp-dl é open source sob a licença MIT. Confira os termos da licença antes de usá-lo em produtos comerciais.
esp-dl ainda é mantido?
Manutenção ativa. O último commit de esp-dl foi em 22 de out. de 2026.
Para que posso usar esp-dl?
Executar um modelo de detecção de objetos, como YOLO11, em um dispositivo ESP32-S3 ou ESP32-P4. Adicionar OCR no dispositivo ou outras inferências de visão a um produto baseado em ESP-IDF. Quantizar um modelo ONNX personalizado para implantação em chips da Espressif.
Como instalar esp-dl?
Instale o ESP-IDF release/v5.3 ou posterior seguindo o Guia de Programação do ESP-IDF Instale a versão CPU do PyTorch (consulte o exemplo para Linux no README): pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cpu Instale o ESP-PPQ para quantizar seus próprios modelos: pip install esp-ppq Siga o tutorial how-to-run-model para carregar e executar um modelo na sua placa
Onde consigo esp-dl?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/espressif/esp-dl

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados