一个高吞吐、低显存占用的大语言模型推理与服务引擎，提供兼容 OpenAI 的 API。
9.4万2.4万PythonApache-2.0更新于 昨天
iree-org/iree
基于 MLIR 的机器学习编译器与运行时，将模型统一降级到中间表示，覆盖数据中心到移动与边缘设备。
- Star
- 3,986
- Fork
- 1,038
- 未关闭 Issue
- 1,721
- 最近提交
- 5小时前
这是什么？
IREE 是基于 MLIR 构建的端到端机器学习编译器与运行时。它将模型降级为统一的中间表示，既可面向数据中心的大规模负载，也能适配移动端和边缘设备的资源限制。
项目支持从 PyTorch、TensorFlow、JAX、ONNX 等框架导入模型，并面向 CUDA、ROCm、Vulkan、SPIR-V 等后端生成代码。全称为 Intermediate Representation Execution Environment。
项目采用带 LLVM 例外条款的 Apache 2.0 许可证，提供 iree-base-compiler 和 iree-base-runtime 两个 PyPI 包。
核心功能
- 01将 PyTorch、TensorFlow、JAX、ONNX 等框架的模型降级为统一的 MLIR 中间表示。
- 02支持 CUDA、ROCm、Vulkan 等 GPU 与加速器后端。
- 03可生成 SPIR-V 代码，用于可移植的 GPU 执行。
- 04提供运行编译后模型的运行时。
- 05以 Python 包形式发布编译器与运行时。
适用场景
- 用同一套工具链将训练好的模型部署到数据中心 GPU 以及移动或边缘设备。
- 在 Vulkan 或 ROCm 硬件上进行机器学习推理。
- 基于 MLIR 研究机器学习负载的编译器优化。
快速上手
- 1
打开项目网站查看用户指南和从源码构建的说明
使用前须知
- README 中没有直接的安装命令，需要按照网站上的指南从源码构建。
- 这是一个编译器和运行时体系，上手所需的工作量比普通库要多。
标签
常见问题
- iree 是什么？
- 基于 MLIR 的机器学习编译器与运行时，将模型统一降级到中间表示，覆盖数据中心到移动与边缘设备。 IREE 是基于 MLIR 构建的端到端机器学习编译器与运行时。它将模型降级为统一的中间表示，既可面向数据中心的大规模负载，也能适配移动端和边缘设备的资源限制。
- iree 可以免费使用吗？用的什么许可证？
- iree 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。
- iree 还在维护吗？
- 活跃维护中。iree 最近一次提交是在 2026年10月21日。
- iree 适合用来做什么？
- 用同一套工具链将训练好的模型部署到数据中心 GPU 以及移动或边缘设备。 在 Vulkan 或 ROCm 硬件上进行机器学习推理。 基于 MLIR 研究机器学习负载的编译器优化。
- iree 怎么安装和运行？
- 打开项目网站查看用户指南和从源码构建的说明
- 在哪里获取 iree？
- 源代码和安装说明在 GitHub 上：https://github.com/iree-org/iree
概要由 AI 根据项目 README 生成；GitHub 数据每日更新。
相关项目
SGLang 是一个开源推理框架，用于在多种 GPU、TPU、CPU 等硬件上部署大语言模型、视觉语言模型和扩散模型。
3.7万9720PythonApache-2.0更新于 昨天
一个极简的深度学习框架，提供类 PyTorch 的 Tensor API、自动求导、编译器，并支持多种加速器后端。
3.4万4382PythonMIT更新于 昨天
在浏览器中直接运行 Hugging Face Transformers 模型，无需服务器。
1.6万1206JavaScriptApache-2.0更新于 昨天
一个用 Rust 编写的张量库与深度学习框架，支持训练和推理，可运行在多种 GPU 与 CPU 后端上。
1.6万1106RustApache-2.0更新于 15小时前
面向消费级硬件的边缘端 MoE 推理引擎，可在个人电脑上运行大型开源权重模型。
1.5万1469PythonApache-2.0更新于 前天