Стек PyTorch для инференса на устройствах: запуск экспортированных моделей на телефонах, ноутбуках, в браузерах и на микроконтроллерах.
5,1 тыс.1,2 тыс.PythonOtherОбновлён 7 часов назад
airockchip/rknn-toolkit2
SDK для преобразования обученных моделей ИИ в формат RKNN и запуска инференса на платах с NPU Rockchip через Python API и C API.
- Звёзды
- 3,463
- Форки
- 409
- Открытые issues
- 473
- Последний коммит
- 9 часов назад
Что это?
RKNN-Toolkit2 — это SDK Rockchip для развертывания моделей ИИ на чипах компании с NPU. Разработчик запускает toolkit на ПК, чтобы преобразовать обученную модель в формат RKNN, а затем запускает инференс на целевой плате через Python API (RKNN-Toolkit-Lite2) или C/C++ API RKNN Runtime.
Toolkit для ПК также поддерживает преобразование моделей, симуляцию инференса и оценку производительности. В проекте заявлена поддержка RK3588, RK3576, RK3566/RK3568, RK3562, нескольких чипов RV11xx и RK2118. Драйвер ядра RKNPU, взаимодействующий с оборудованием, описан как открытый исходный код и входит в код ядра Rockchip.
В репозитории отмечено, что RKNN-Toolkit2 несовместим с более старым RKNN-Toolkit, предназначенным для RK1808, RV1109, RV1126 и RK3399Pro. Для развертывания LLM Rockchip предлагает отдельный SDK RKNN-LLM.
Ключевые возможности
- 01Преобразует обученные модели в формат RKNN для NPU Rockchip.
- 02Предоставляет Python API инференса (RKNN-Toolkit-Lite2) для плат.
- 03Предлагает C/C++ API runtime для развертывания моделей RKNN.
- 04Включает преобразование моделей и оценку производительности на ПК.
- 05Поддерживает несколько семейств чипов Rockchip — от RK3588 до RV1103/RV1106.
Сценарии использования
- Развертывание моделей компьютерного зрения на периферийных устройствах на базе Rockchip.
- Оценка производительности преобразованной модели перед ее выпуском для платы RK3588.
- Запуск инференса RKNN из приложения на Python или C++ на плате со встроенным Linux.
Быстрый старт
- 1
Скачайте пакеты, образ Docker и примеры по ссылке RKNPU2_SDK в README
- 2
Найдите больше примеров проектов в репозитории rknn_model_zoo
Что важно знать
- Поддерживаются только платформы Rockchip NPU, поэтому для инференса необходимы совместимые платы Rockchip.
- Лицензия не указана явно (NOASSERTION), поэтому перед коммерческим использованием ознакомьтесь с условиями.
- RKNN-Toolkit2 несовместим с более старой версией RKNN-Toolkit, а для старых чипов, таких как RK1808 и RV1126, используются отдельные репозитории.
Темы
Частые вопросы
- Что такое rknn-toolkit2?
- SDK для преобразования обученных моделей ИИ в формат RKNN и запуска инференса на платах с NPU Rockchip через Python API и C API. RKNN-Toolkit2 — это SDK Rockchip для развертывания моделей ИИ на чипах компании с NPU. Разработчик запускает toolkit на ПК, чтобы преобразовать обученную модель в формат RKNN, а затем запускает инференс на целевой плате через Python API (RKNN-Toolkit-Lite2) или C/C++ API RKNN Runtime.
- rknn-toolkit2 можно использовать бесплатно? Какая у него лицензия?
- rknn-toolkit2 распространяется с открытым исходным кодом под лицензией Other. Перед использованием в коммерческих продуктах проверьте условия лицензии.
- rknn-toolkit2 всё ещё поддерживается?
- Активно поддерживается. Последний коммит в rknn-toolkit2 — 20 окт. 2026 г..
- Для чего можно использовать rknn-toolkit2?
- Развертывание моделей компьютерного зрения на периферийных устройствах на базе Rockchip. Оценка производительности преобразованной модели перед ее выпуском для платы RK3588. Запуск инференса RKNN из приложения на Python или C++ на плате со встроенным Linux.
- Как установить rknn-toolkit2?
- Скачайте пакеты, образ Docker и примеры по ссылке RKNPU2_SDK в README Найдите больше примеров проектов в репозитории rknn_model_zoo
- Где скачать rknn-toolkit2?
- Исходный код и инструкции по установке — на GitHub: https://github.com/airockchip/rknn-toolkit2
Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.
Похожие проекты
Официальный фреймворк Microsoft для инференса 1-битных (тернарных, 1,58-битных) LLM на CPU и GPU, созданный на базе llama.cpp.
41,2 тыс.3,8 тыс.C++MITОбновлён 3 месяца назад
Нативный для edge-устройств движок для инференса MoE-моделей с открытыми весами, например DeepSeek-V4 и Qwen3.6, на потребительских GPU и CPU.
14,6 тыс.1,5 тыс.PythonApache-2.0Обновлён вчера
Open-source toolkit для оптимизации и развертывания моделей deep learning для инференса на процессорах, GPU и NPU Intel.
11 тыс.3,5 тыс.C++Apache-2.0Обновлён 9 часов назад
Минималистичный движок инференса LLM на C11 для запуска GGUF-моделей архитектуры LLaMA класса 1B на недорогих платах с примерно 45 МБ RAM и без зависимостей.
2,2 тыс.293CMITОбновлён 8 месяцев назад
Ultralytics YOLOv5 — библиотека компьютерного зрения на базе PyTorch для детекции объектов, сегментации экземпляров и классификации изображений, с обучением и экспортом моделей.
58,2 тыс.17,5 тыс.PythonAGPL-3.0Обновлён позавчера