Stack de inferência on-device do PyTorch para executar modelos exportados em celulares, laptops, navegadores e microcontroladores.
5,1 mil1,2 milPythonOtherAtualizado há 6 horas
airockchip/rknn-toolkit2
SDK para converter modelos de IA treinados para o formato RKNN e executar inferências em placas com NPU da Rockchip via APIs Python e C.
- Estrelas
- 3,463
- Forks
- 409
- Issues abertas
- 473
- Último commit
- há 8 horas
O que é?
O RKNN-Toolkit2 é o kit de desenvolvimento de software da Rockchip para implantar modelos de IA em seus chips com NPU. O desenvolvedor executa o toolkit em um PC para converter um modelo treinado para o formato RKNN e, em seguida, executa inferências na placa de destino usando a API Python (RKNN-Toolkit-Lite2) ou a API C/C++ do RKNN Runtime.
O toolkit para PC também oferece conversão de modelos, simulação de inferências e avaliação de desempenho. O projeto lista suporte a RK3588, RK3576, RK3566/RK3568, RK3562, vários chips RV11xx e RK2118. O driver de kernel RKNPU, que se comunica com o hardware, é descrito como open source e faz parte do código de kernel da Rockchip.
O repositório observa que o RKNN-Toolkit2 não é compatível com o RKNN-Toolkit anterior, usado em RK1808, RV1109, RV1126 e RK3399Pro. Para implantar LLMs, a Rockchip indica um SDK separado, o RKNN-LLM.
Recursos principais
- 01Converte modelos treinados para o formato RKNN, usado pelas NPUs da Rockchip.
- 02Oferece uma API Python para inferência (RKNN-Toolkit-Lite2) em placas.
- 03Oferece uma API de runtime C/C++ para implantar modelos RKNN.
- 04Inclui conversão de modelos e avaliação de desempenho em PC.
- 05Oferece suporte a várias famílias de chips da Rockchip, de RK3588 a RV1103/RV1106.
Casos de uso
- Implantar modelos de visão computacional em dispositivos de borda baseados em Rockchip.
- Avaliar o desempenho de um modelo convertido antes de colocá-lo em produção em uma placa RK3588.
- Executar inferências RKNN a partir de um aplicativo Python ou C++ em uma placa com Linux embarcado.
Início rápido
- 1
Baixe os pacotes, a imagem Docker e os exemplos pelo link RKNPU2_SDK no README
- 2
Encontre mais projetos de exemplo no repositório rknn_model_zoo
Antes de usar
- É compatível apenas com plataformas NPU da Rockchip; portanto, a inferência exige placas Rockchip compatíveis.
- A licença não está claramente especificada (NOASSERTION); confira os termos antes de usar o projeto comercialmente.
- O RKNN-Toolkit2 não é compatível com a versão anterior do RKNN-Toolkit, e chips antigos, como RK1808 e RV1126, usam repositórios separados.
Tópicos
Perguntas frequentes
- O que é rknn-toolkit2?
- SDK para converter modelos de IA treinados para o formato RKNN e executar inferências em placas com NPU da Rockchip via APIs Python e C. O RKNN-Toolkit2 é o kit de desenvolvimento de software da Rockchip para implantar modelos de IA em seus chips com NPU. O desenvolvedor executa o toolkit em um PC para converter um modelo treinado para o formato RKNN e, em seguida, executa inferências na placa de destino usando a API Python (RKNN-Toolkit-Lite2) ou a API C/C++ do RKNN Runtime.
- rknn-toolkit2 é gratuito? Qual é a licença?
- rknn-toolkit2 é open source sob a licença Other. Confira os termos da licença antes de usá-lo em produtos comerciais.
- rknn-toolkit2 ainda é mantido?
- Manutenção ativa. O último commit de rknn-toolkit2 foi em 20 de out. de 2026.
- Para que posso usar rknn-toolkit2?
- Implantar modelos de visão computacional em dispositivos de borda baseados em Rockchip. Avaliar o desempenho de um modelo convertido antes de colocá-lo em produção em uma placa RK3588. Executar inferências RKNN a partir de um aplicativo Python ou C++ em uma placa com Linux embarcado.
- Como instalar rknn-toolkit2?
- Baixe os pacotes, a imagem Docker e os exemplos pelo link RKNPU2_SDK no README Encontre mais projetos de exemplo no repositório rknn_model_zoo
- Onde consigo rknn-toolkit2?
- O código-fonte e as instruções de instalação estão no GitHub: https://github.com/airockchip/rknn-toolkit2
Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Projetos relacionados
Framework oficial da Microsoft para inferência em CPU/GPU de LLMs de 1 bit (ternários, 1,58 bit), baseado no llama.cpp.
41,2 mil3,8 milC++MITAtualizado há 3 meses
Um mecanismo de inferência MoE nativo de edge que executa modelos grandes de pesos abertos, como DeepSeek-V4 e Qwen3.6, em GPUs e CPUs de consumo.
14,6 mil1,5 milPythonApache-2.0Atualizado ontem
Toolkit de código aberto para otimizar e implantar modelos de deep learning para inferência em CPUs, GPUs e NPUs Intel.
11 mil3,5 milC++Apache-2.0Atualizado há 8 horas
Um mecanismo mínimo de inferência de LLM em C11 que executa modelos GGUF de arquitetura LLaMA da classe 1B em placas de baixo custo com cerca de 45 MB de RAM, sem dependências.
2,2 mil293CMITAtualizado há 8 meses
Ultralytics YOLOv5, toolkit de visão computacional baseado em PyTorch para detecção de objetos, segmentação de instâncias e classificação de imagens, com recursos de treinamento e exportação.
58,2 mil17,5 milPythonAGPL-3.0Atualizado anteontem