PyTorch 官方的端侧推理框架,用于在手机、笔记本、浏览器和微控制器上运行模型。
airockchip/rknn-toolkit2
用于将训练好的 AI 模型转换为 RKNN 格式,并在瑞芯微 NPU 设备上推理的 SDK。
- Star
- 3,463
- Fork
- 409
- 未关闭 Issue
- 473
- 最近提交
- 11小时前
这是什么?
RKNN-Toolkit2 是瑞芯微为内置 NPU 的芯片提供的 AI 模型部署软件开发套件。开发者先在 PC 上使用工具包把训练好的模型转换为 RKNN 格式,再在目标开发板上通过 Python 接口(RKNN-Toolkit-Lite2)或 C/C++ 的 RKNN Runtime 接口进行推理。
PC 端工具包同时支持模型转换、推理模拟和性能评估。项目支持 RK3588、RK3576、RK3566/RK3568、RK3562、多款 RV11xx 系列以及 RK2118。与硬件交互的 RKNPU 内核驱动已经开源,并包含在瑞芯微的内核代码中。
需要注意,RKNN-Toolkit2 与用于 RK1808、RV1109、RV1126 和 RK3399Pro 的旧版 RKNN-Toolkit 不兼容。如果要部署大语言模型,瑞芯微提供了独立的 RKNN-LLM SDK。
核心功能
- 01将训练好的模型转换为适用于瑞芯微 NPU 的 RKNN 格式。
- 02为开发板提供 Python 推理接口(RKNN-Toolkit-Lite2)。
- 03提供 C/C++ Runtime 接口用于部署 RKNN 模型。
- 04在 PC 上完成模型转换与性能评估。
- 05支持从 RK3588 到 RV1103/RV1106 等多个瑞芯微芯片系列。
适用场景
- 在基于瑞芯微芯片的边缘设备上部署计算机视觉模型。
- 在 RK3588 开发板上发布前评估转换后模型的性能。
- 在嵌入式 Linux 开发板上通过 Python 或 C++ 应用运行 RKNN 推理。
快速上手
- 1
从 README 中的 RKNPU2_SDK 链接下载软件包、Docker 镜像和示例
- 2
从 rknn_model_zoo 仓库获取更多示例项目
使用前须知
- 仅支持瑞芯微 (Rockchip) NPU 平台,推理需要受支持的瑞芯微开发板。
- 许可证未明确说明(NOASSERTION),商业使用前请先确认条款。
- RKNN-Toolkit2 与旧版 RKNN-Toolkit 不兼容,RK1808、RV1126 等较旧芯片需使用独立的代码仓库。
标签
常见问题
- rknn-toolkit2 是什么?
- 用于将训练好的 AI 模型转换为 RKNN 格式,并在瑞芯微 NPU 设备上推理的 SDK。 RKNN-Toolkit2 是瑞芯微为内置 NPU 的芯片提供的 AI 模型部署软件开发套件。开发者先在 PC 上使用工具包把训练好的模型转换为 RKNN 格式,再在目标开发板上通过 Python 接口(RKNN-Toolkit-Lite2)或 C/C++ 的 RKNN Runtime 接口进行推理。
- rknn-toolkit2 可以免费使用吗?用的什么许可证?
- rknn-toolkit2 以 Other 许可证开源。用于商业产品前,请先确认许可证条款。
- rknn-toolkit2 还在维护吗?
- 活跃维护中。rknn-toolkit2 最近一次提交是在 2026年10月20日。
- rknn-toolkit2 适合用来做什么?
- 在基于瑞芯微芯片的边缘设备上部署计算机视觉模型。 在 RK3588 开发板上发布前评估转换后模型的性能。 在嵌入式 Linux 开发板上通过 Python 或 C++ 应用运行 RKNN 推理。
- rknn-toolkit2 怎么安装和运行?
- 从 README 中的 RKNPU2_SDK 链接下载软件包、Docker 镜像和示例 从 rknn_model_zoo 仓库获取更多示例项目
- 在哪里获取 rknn-toolkit2?
- 源代码和安装说明在 GitHub 上:https://github.com/airockchip/rknn-toolkit2
概要由 AI 根据项目 README 生成;GitHub 数据每日更新。
相关项目
微软官方推出的 1-bit 大语言模型推理框架,支持 CPU 与 GPU 上的低比特推理。
面向消费级硬件的边缘端 MoE 推理引擎,可在个人电脑上运行大型开源权重模型。
开源深度学习推理工具包,用于优化模型并部署到 Intel CPU、GPU 和 NPU 上运行。
一个纯 C 语言的轻量级 LLM 推理引擎,可在约 45MB 内存的低成本开发板上运行 GGUF 格式的 LLaMA 架构模型。
基于 PyTorch 的计算机视觉工具库,支持目标检测、实例分割和图像分类的训练与模型导出。