Firmware de assistente pessoal com IA, escrito em C puro, que roda em um chip ESP32-S3 de US$ 5 e conversa com você pelo Telegram.
espressif/esp-dl
Framework leve de inferência de redes neurais para executar modelos de IA em chips da série ESP da Espressif, com fluxo de quantização de ONNX para .espdl via ESP-PPQ.
- Estrelas
- 1,191
- Forks
- 229
- Issues abertas
- 47
- Último commit
- há 3 horas
O que é?
ESP-DL é um framework de inferência de redes neurais desenvolvido para SoCs da série ESP da Espressif. Ele oferece APIs para carregar, depurar e executar modelos de IA no chip, e foi projetado para uso em projetos ESP-IDF junto com outros SDKs da Espressif.
Os modelos são quantizados com ESP-PPQ, que lê modelos ONNX diretamente e pode converter modelos do PyTorch e do TensorFlow por meio do ONNX. O resultado é o formato compacto `.espdl`, baseado em FlatBuffers e compatível com desserialização sem cópia. A quantização pode ser de 8 bits, 16 bits ou mista w8a16 por camada, e um planejador estático de memória aloca as camadas na RAM interna ou na memória externa conforme o tamanho de RAM especificado.
O repositório também inclui um catálogo de modelos pré-quantizados, como MobileNetV2 e modelos de detecção YOLO11, cada um empacotado como um componente ESP-IDF, além de uma lista de operadores compatíveis e exemplos.
Recursos principais
- 01Carrega e executa modelos `.espdl` em chips da série ESP32 usando ESP-IDF.
- 02Quantiza modelos ONNX, PyTorch e TensorFlow com ESP-PPQ.
- 03Oferece suporte à quantização de 8 bits, 16 bits e mista w8a16 em um mesmo modelo.
- 04Aloca automaticamente as camadas na memória de acordo com o tamanho definido para a RAM interna.
- 05Distribui o processamento de Conv2D e DepthwiseConv2D entre os dois núcleos.
- 06Inclui um catálogo de modelos pré-quantizados, empacotados como componentes ESP-IDF.
Casos de uso
- Executar um modelo de detecção de objetos, como YOLO11, em um dispositivo ESP32-S3 ou ESP32-P4.
- Adicionar OCR no dispositivo ou outras inferências de visão a um produto baseado em ESP-IDF.
- Quantizar um modelo ONNX personalizado para implantação em chips da Espressif.
Início rápido
- 1
Instale o ESP-IDF release/v5.3 ou posterior seguindo o Guia de Programação do ESP-IDF
- 2
Instale a versão CPU do PyTorch (consulte o exemplo para Linux no README)
pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cpu - 3
Instale o ESP-PPQ para quantizar seus próprios modelos
pip install esp-ppq - 4
Siga o tutorial how-to-run-model para carregar e executar um modelo na sua placa
Antes de usar
- Funciona apenas em chips da série ESP da Espressif e requer o ESP-IDF v5.3 ou posterior.
- Só é possível usar os operadores listados na tabela de suporte a operadores; para usar operadores não suportados, é necessário contribuir com novas implementações.
- A quantização com ESP-PPQ requer um ambiente Python e que os modelos sejam exportados primeiro para ONNX.
Tópicos
Perguntas frequentes
- O que é esp-dl?
- Framework leve de inferência de redes neurais para executar modelos de IA em chips da série ESP da Espressif, com fluxo de quantização de ONNX para .espdl via ESP-PPQ. ESP-DL é um framework de inferência de redes neurais desenvolvido para SoCs da série ESP da Espressif. Ele oferece APIs para carregar, depurar e executar modelos de IA no chip, e foi projetado para uso em projetos ESP-IDF junto com outros SDKs da Espressif.
- esp-dl é gratuito? Qual é a licença?
- esp-dl é open source sob a licença MIT. Confira os termos da licença antes de usá-lo em produtos comerciais.
- esp-dl ainda é mantido?
- Manutenção ativa. O último commit de esp-dl foi em 22 de out. de 2026.
- Para que posso usar esp-dl?
- Executar um modelo de detecção de objetos, como YOLO11, em um dispositivo ESP32-S3 ou ESP32-P4. Adicionar OCR no dispositivo ou outras inferências de visão a um produto baseado em ESP-IDF. Quantizar um modelo ONNX personalizado para implantação em chips da Espressif.
- Como instalar esp-dl?
- Instale o ESP-IDF release/v5.3 ou posterior seguindo o Guia de Programação do ESP-IDF Instale a versão CPU do PyTorch (consulte o exemplo para Linux no README): pip install torch torchvision torchaudio --index-url https://download.pytorch.org/whl/cpu Instale o ESP-PPQ para quantizar seus próprios modelos: pip install esp-ppq Siga o tutorial how-to-run-model para carregar e executar um modelo na sua placa
- Onde consigo esp-dl?
- O código-fonte e as instruções de instalação estão no GitHub: https://github.com/espressif/esp-dl
Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Projetos relacionados
Stack de inferência on-device do PyTorch para executar modelos exportados em celulares, laptops, navegadores e microcontroladores.
SDK para converter modelos de IA treinados para o formato RKNN e executar inferências em placas com NPU da Rockchip via APIs Python e C.
Um compilador e runtime baseado em MLIR que reduz modelos de ML a uma IR unificada para implantação em datacenters, dispositivos móveis e de edge.
Uma biblioteca C simples para criar videogames, com gráficos 2D/3D, entrada, áudio e suporte multiplataforma, sem dependências externas.
Transforma um ESP32 em um sensor de movimento Wi-Fi local e privado, que detecta movimentos por meio de alterações nos sinais Wi-Fi, sem câmera nem microfone.