面向大模型分布式训练与推理的深度学习优化库,提升效率并降低使用门槛。
pytorch/executorch
PyTorch 官方的端侧推理框架,用于在手机、笔记本、浏览器和微控制器上运行模型。
- Star
- 5,107
- Fork
- 1,207
- 未关闭 Issue
- 1,328
- 最近提交
- 5小时前
这是什么?
ExecuTorch 使用 torch.export 捕获 PyTorch 模型,针对目标硬件降级为特定后端的 .pte 程序,再通过 C++、Python、Swift/Objective-C、Kotlin/Java 或 JavaScript 接口运行。它覆盖从手机、笔记本到嵌入式系统和微控制器的多类设备。
硬件加速采用图分区机制:受支持的计算子图会交给 XNNPACK、Core ML、Vulkan、高通、Arm Ethos-U 等 CPU、GPU、NPU 或 DSP 后端执行,其余部分由可移植的 CPU 算子处理。运行时可通过选择性构建裁剪,只链接部署所需的算子和后端。ETDump、ETRecord 和数值调试工具则用于性能分析与精度检查。
项目还提供大语言模型、语音和视觉相关示例,以及实验性的本地 OpenAI 兼容服务。模型使用同一套导出流程,但每个目标平台都需要单独配置后端,并验证精度与性能。
核心功能
- 01通过 torch.export 将 PyTorch 模型导出为 .pte 程序,在设备上执行。
- 02将受支持的计算子图交给 XNNPACK、Core ML、Vulkan、高通、Arm 等后端加速。
- 03提供 C++、Python、Swift、Kotlin/Java 和 JavaScript 运行时接口。
- 04支持选择性构建,仅包含部署所需的算子。
- 05提供 ETDump、ETRecord 和数值调试工具,用于性能分析和精度检查。
- 06包含大语言模型、语音识别、语音合成和计算机视觉示例。
适用场景
- 在 Android 或 iOS 应用中直接运行 PyTorch 视觉或语言模型,无需服务器。
- 将神经网络部署到基于 Arm Cortex-M 或 Ethos-U 的微控制器或 DSP 上。
- 在桌面或笔记本应用中集成本地大语言模型或语音模型。
- 在多种硬件后端上对比同一模型的精度与延迟。
快速上手
- 1
安装最新稳定版 Python 包(需 Python 3.11–3.15)
pip install executorch - 2
将 README 中的 Add 示例保存为脚本并运行,以完成导出、XNNPACK 降级和模型执行
使用前须知
- 要使用 Core ML、Qualcomm 等加速器,需安装对应后端的依赖并单独导出模型。
- 部分功能处于实验阶段或标记为 Main/nightly,发布前可能发生变化。
- 夜间构建需另行安装 PyTorch nightly,且 CUDA 包仅支持 Linux。
- 预编译 Python 包仅覆盖 Linux x86-64、Linux AArch64、macOS arm64 和 Windows x86-64,其他平台需从源码构建。
标签
常见问题
- executorch 是什么?
- PyTorch 官方的端侧推理框架,用于在手机、笔记本、浏览器和微控制器上运行模型。 ExecuTorch 使用 torch.export 捕获 PyTorch 模型,针对目标硬件降级为特定后端的 .pte 程序,再通过 C++、Python、Swift/Objective-C、Kotlin/Java 或 JavaScript 接口运行。它覆盖从手机、笔记本到嵌入式系统和微控制器的多类设备。
- executorch 可以免费使用吗?用的什么许可证?
- executorch 以 Other 许可证开源。用于商业产品前,请先确认许可证条款。
- executorch 还在维护吗?
- 活跃维护中。executorch 最近一次提交是在 2026年10月20日。
- executorch 适合用来做什么?
- 在 Android 或 iOS 应用中直接运行 PyTorch 视觉或语言模型,无需服务器。 将神经网络部署到基于 Arm Cortex-M 或 Ethos-U 的微控制器或 DSP 上。 在桌面或笔记本应用中集成本地大语言模型或语音模型。 在多种硬件后端上对比同一模型的精度与延迟。
- executorch 怎么安装和运行?
- 安装最新稳定版 Python 包(需 Python 3.11–3.15): pip install executorch 将 README 中的 Add 示例保存为脚本并运行,以完成导出、XNNPACK 降级和模型执行
- 在哪里获取 executorch?
- 源代码和安装说明在 GitHub 上:https://github.com/pytorch/executorch
概要由 AI 根据项目 README 生成;GitHub 数据每日更新。
相关项目
端到端开源机器学习平台,提供 Python 和 C++ 接口,用于构建和部署 ML 模型。
一个高吞吐、低显存占用的大语言模型推理与服务引擎,提供兼容 OpenAI 的 API。
基于 PyTorch 的计算机视觉工具库,支持目标检测、实例分割和图像分类的训练与模型导出。
Python 库,逐层加载大语言模型,让 70B 级模型可在单张 4GB 显卡上推理,无需量化。
FlashAttention 官方实现,一种节省显存的精确注意力计算内核,用于 GPU 上 Transformer 模型的训练与推理。