Repolode
pytorch

pytorch/executorch

PyTorch 官方的端侧推理框架,用于在手机、笔记本、浏览器和微控制器上运行模型。

Star
5,107
Fork
1,207
未关闭 Issue
1,328
最近提交
5小时前

这是什么?

ExecuTorch 使用 torch.export 捕获 PyTorch 模型,针对目标硬件降级为特定后端的 .pte 程序,再通过 C++、Python、Swift/Objective-C、Kotlin/Java 或 JavaScript 接口运行。它覆盖从手机、笔记本到嵌入式系统和微控制器的多类设备。

硬件加速采用图分区机制:受支持的计算子图会交给 XNNPACK、Core ML、Vulkan、高通、Arm Ethos-U 等 CPU、GPU、NPU 或 DSP 后端执行,其余部分由可移植的 CPU 算子处理。运行时可通过选择性构建裁剪,只链接部署所需的算子和后端。ETDump、ETRecord 和数值调试工具则用于性能分析与精度检查。

项目还提供大语言模型、语音和视觉相关示例,以及实验性的本地 OpenAI 兼容服务。模型使用同一套导出流程,但每个目标平台都需要单独配置后端,并验证精度与性能。

核心功能

  • 01通过 torch.export 将 PyTorch 模型导出为 .pte 程序,在设备上执行。
  • 02将受支持的计算子图交给 XNNPACK、Core ML、Vulkan、高通、Arm 等后端加速。
  • 03提供 C++、Python、Swift、Kotlin/Java 和 JavaScript 运行时接口。
  • 04支持选择性构建,仅包含部署所需的算子。
  • 05提供 ETDump、ETRecord 和数值调试工具,用于性能分析和精度检查。
  • 06包含大语言模型、语音识别、语音合成和计算机视觉示例。

适用场景

  • 在 Android 或 iOS 应用中直接运行 PyTorch 视觉或语言模型,无需服务器。
  • 将神经网络部署到基于 Arm Cortex-M 或 Ethos-U 的微控制器或 DSP 上。
  • 在桌面或笔记本应用中集成本地大语言模型或语音模型。
  • 在多种硬件后端上对比同一模型的精度与延迟。

快速上手

  1. 1

    安装最新稳定版 Python 包(需 Python 3.11–3.15)

    pip install executorch
  2. 2

    将 README 中的 Add 示例保存为脚本并运行,以完成导出、XNNPACK 降级和模型执行

使用前须知

  • 要使用 Core ML、Qualcomm 等加速器,需安装对应后端的依赖并单独导出模型。
  • 部分功能处于实验阶段或标记为 Main/nightly,发布前可能发生变化。
  • 夜间构建需另行安装 PyTorch nightly,且 CUDA 包仅支持 Linux。
  • 预编译 Python 包仅覆盖 Linux x86-64、Linux AArch64、macOS arm64 和 Windows x86-64,其他平台需从源码构建。

标签

常见问题

executorch 是什么?
PyTorch 官方的端侧推理框架,用于在手机、笔记本、浏览器和微控制器上运行模型。 ExecuTorch 使用 torch.export 捕获 PyTorch 模型,针对目标硬件降级为特定后端的 .pte 程序,再通过 C++、Python、Swift/Objective-C、Kotlin/Java 或 JavaScript 接口运行。它覆盖从手机、笔记本到嵌入式系统和微控制器的多类设备。
executorch 可以免费使用吗?用的什么许可证?
executorch 以 Other 许可证开源。用于商业产品前,请先确认许可证条款。
executorch 还在维护吗?
活跃维护中。executorch 最近一次提交是在 2026年10月20日。
executorch 适合用来做什么?
在 Android 或 iOS 应用中直接运行 PyTorch 视觉或语言模型,无需服务器。 将神经网络部署到基于 Arm Cortex-M 或 Ethos-U 的微控制器或 DSP 上。 在桌面或笔记本应用中集成本地大语言模型或语音模型。 在多种硬件后端上对比同一模型的精度与延迟。
executorch 怎么安装和运行?
安装最新稳定版 Python 包(需 Python 3.11–3.15): pip install executorch 将 README 中的 Add 示例保存为脚本并运行,以完成导出、XNNPACK 降级和模型执行
在哪里获取 executorch?
源代码和安装说明在 GitHub 上:https://github.com/pytorch/executorch

概要由 AI 根据项目 README 生成;GitHub 数据每日更新。

相关项目