microsoft/onnxruntime-genai

这是什么？

核心功能

• 01实现 ONNX 大模型的完整生成流程，包括采样与 KV Cache 管理。
• 02提供 Python、C#、C/C++ 接口，Java 需从源码构建。
• 03支持 Linux、Windows、Mac、Android 平台及 x86、x64、arm64 架构。
• 04通过 CUDA、DirectML、OpenVINO、QNN、WebGPU 等实现硬件加速。
• 05支持多 LoRA 适配、连续解码和受约束解码。

适用场景

• 在笔记本或终端设备上本地运行 Phi、Llama 等小型语言模型。
• 通过 ONNX Runtime 将大模型推理集成到 C# 或 Windows 应用中。
• 在同一套代码上部署到不同厂商的 GPU 或 NPU 上运行量化模型。
• 在生成过程中约束输出格式或工具调用语法。

快速上手

1. 1

   从 Hugging Face 下载 Phi-3 模型

   huggingface-cli download microsoft/Phi-3-mini-4k-instruct-onnx --include cpu_and_mobile/cpu-int4-rtn-block-32-acc-level-4/* --local-dir .
2. 2

   安装 numpy

   pip install numpy
3. 3

   安装 onnxruntime-genai Python 包

   pip install --pre onnxruntime-genai
4. 4

   将 README 中的 Python 示例保存为脚本并运行以生成文本

使用前须知

• !Java 绑定需要从源码构建。
• !main 分支上的示例可能与最新稳定版本不一致。

标签

常见问题

onnxruntime-genai 是什么？

基于 ONNX Runtime 的生成式 AI 推理库，提供 Python、C#、C/C++ 等接口，在本地运行大语言模型。 ONNX Runtime GenAI 是一个基于 ONNX Runtime 运行生成式 AI 模型的库。它实现了 ONNX 模型的生成流程，包括前后处理、推理、logits 处理、搜索与采样、KV Cache 管理，以及用于工具调用的语法约束。

onnxruntime-genai 可以免费使用吗？用的什么许可证？

onnxruntime-genai 以 MIT 许可证开源。用于商业产品前，请先确认许可证条款。

onnxruntime-genai 还在维护吗？

活跃维护中。onnxruntime-genai 最近一次提交是在 2026年11月6日。

onnxruntime-genai 适合用来做什么？

在笔记本或终端设备上本地运行 Phi、Llama 等小型语言模型。 通过 ONNX Runtime 将大模型推理集成到 C# 或 Windows 应用中。 在同一套代码上部署到不同厂商的 GPU 或 NPU 上运行量化模型。 在生成过程中约束输出格式或工具调用语法。

onnxruntime-genai 怎么安装和运行？

从 Hugging Face 下载 Phi-3 模型: huggingface-cli download microsoft/Phi-3-mini-4k-instruct-onnx --include cpu_and_mobile/cpu-int4-rtn-block-32-acc-level-4/* --local-dir . 安装 numpy: pip install numpy 安装 onnxruntime-genai Python 包: pip install --pre onnxruntime-genai 将 README 中的 Python 示例保存为脚本并运行以生成文本

在哪里获取 onnxruntime-genai？

源代码和安装说明在 GitHub 上：https://github.com/microsoft/onnxruntime-genai