openvinotoolkit/openvino

这是什么？

核心功能

• 01支持转换 PyTorch、TensorFlow、ONNX、Keras、PaddlePaddle 和 JAX/Flax 模型用于推理。
• 02可在 x86 与 ARM CPU、Intel 显卡及 Intel NPU 上运行推理。
• 03提供 C++、Python、C 和 NodeJS 接口。
• 04包含面向大语言模型和扩散模型流程的 GenAI API。
• 05通过 NNCF 提供量化、稀疏化等模型压缩能力。

适用场景

• 在 Intel 边缘或服务器硬件上部署 YOLO 等计算机视觉模型。
• 在 Intel CPU 或 GPU 上运行本地大语言模型聊天机器人或文生图流程。
• 在支持的设备上加速 Whisper 等语音识别模型。
• 将优化后的推理接入已有的 ONNX Runtime 或 vLLM 工作流。

快速上手

1. 1

   使用 pip 安装 OpenVINO

   pip install -U openvino
2. 2

   打印版本号以验证安装

   python -c "import openvino as ov; print(ov.__version__)"

使用前须知

• !主要面向英特尔硬件（CPU、GPU、NPU），在其他加速器上优势有限。

标签

常见问题

openvino 是什么？

开源深度学习推理工具包，用于优化模型并部署到 Intel CPU、GPU 和 NPU 上运行。 OpenVINO 是一个开源工具包，用于优化 AI 模型的推理过程并将其部署到不同硬件上。它可以直接加载 PyTorch、TensorFlow、ONNX、Keras、PaddlePaddle、JAX/Flax 等框架训练的模型，部署时无需依赖原始框架。

openvino 可以免费使用吗？用的什么许可证？

openvino 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。

openvino 还在维护吗？

活跃维护中。openvino 最近一次提交是在 2026年10月20日。

openvino 适合用来做什么？

在 Intel 边缘或服务器硬件上部署 YOLO 等计算机视觉模型。 在 Intel CPU 或 GPU 上运行本地大语言模型聊天机器人或文生图流程。 在支持的设备上加速 Whisper 等语音识别模型。 将优化后的推理接入已有的 ONNX Runtime 或 vLLM 工作流。

openvino 怎么安装和运行？

使用 pip 安装 OpenVINO: pip install -U openvino 打印版本号以验证安装: python -c "import openvino as ov; print(ov.__version__)"

在哪里获取 openvino？

源代码和安装说明在 GitHub 上：https://github.com/openvinotoolkit/openvino