Repolode
投稿する
openvinotoolkit

openvinotoolkit/openvino

Intel CPU、GPU、NPUで推論するディープラーニングモデルを最適化・デプロイするオープンソースツールキット。

GitHub で見る公式サイト
スター
11,028
フォーク
3,472
未解決の Issue
883
最終コミット
5 時間前

これは何？

OpenVINOは、AI推論の最適化とデプロイを行う、OpenVINOプロジェクトのオープンソースツールキットです。PyTorch、TensorFlow、ONNX、Keras、PaddlePaddle、JAX/Flaxなどのフレームワークで学習したモデルを受け取り、デプロイ時に元のフレームワークを必要とせずに変換し、対応ハードウェア上で効率よく実行します。

推論先には、x86およびARM CPU、Intelの内蔵・ディスクリートGPU、Intel NPUが含まれます。C++、Python、C、NodeJSのAPIに加え、LLMや拡散モデルのパイプライン向けGenAI APIも提供します。Hugging Face HubのモデルはOptimum Intel経由で利用できます。

エコシステムには、量子化とスパース化を行うNeural Network Compression Framework（NNCF）、サービング向けのOpenVINO Model Server、vLLM、ONNX Runtime、LangChain、LlamaIndex、torch.compileとの連携機能があります。

主な機能

  • 01PyTorch、TensorFlow、ONNX、Keras、PaddlePaddle、JAX/Flaxのモデルを推論用に変換します。
  • 02x86およびARM CPUを含むIntel CPU、GPU、NPUで推論を実行します。
  • 03C++、Python、C、NodeJSのAPIを提供します。
  • 04LLMや拡散モデルのパイプライン向けGenAI APIを備えています。
  • 05NNCFを通じて、量子化やスパース化などのモデル圧縮技術を利用できます。

ユースケース

  • Intelのエッジまたはサーバーハードウェアに、YOLOなどのコンピュータビジョンモデルをデプロイする。
  • Intel CPUまたはGPU上で、ローカルのLLMチャットボットやテキストから画像を生成するパイプラインを実行する。
  • 対応デバイス上でWhisperなどの音声認識モデルを高速化する。
  • 最適化された推論を、既存のONNX RuntimeまたはvLLMのワークフローに組み込む。

クイックスタート

  1. 1

    pipでOpenVINOをインストールする

    pip install -U openvino
  2. 2

    バージョンを表示してインストールを確認する

    python -c "import openvino as ov; print(ov.__version__)"

使う前に知っておきたいこと

  • 最高の結果を得るにはIntelハードウェア（CPU、GPU、NPU）を対象とします。他のアクセラレータでは効果が限られます。

トピック

#inference#deep-learning#model-optimization#llm-inference#computer-vision#edge-ai#intel#ai#deploy-ai#diffusion-models

よくある質問

openvino とは？
Intel CPU、GPU、NPUで推論するディープラーニングモデルを最適化・デプロイするオープンソースツールキット。 OpenVINOは、AI推論の最適化とデプロイを行う、OpenVINOプロジェクトのオープンソースツールキットです。PyTorch、TensorFlow、ONNX、Keras、PaddlePaddle、JAX/Flaxなどのフレームワークで学習したモデルを受け取り、デプロイ時に元のフレームワークを必要とせずに変換し、対応ハードウェア上で効率よく実行します。
openvino は無料で使えますか？ライセンスは？
openvino は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
openvino は今もメンテナンスされていますか？
活発にメンテナンス中。openvino の最終コミットは 2026年10月20日 です。
openvino は何に使えますか？
Intelのエッジまたはサーバーハードウェアに、YOLOなどのコンピュータビジョンモデルをデプロイする。 Intel CPUまたはGPU上で、ローカルのLLMチャットボットやテキストから画像を生成するパイプラインを実行する。 対応デバイス上でWhisperなどの音声認識モデルを高速化する。 最適化された推論を、既存のONNX RuntimeまたはvLLMのワークフローに組み込む。
openvino のインストール方法は？
pipでOpenVINOをインストールする: pip install -U openvino バージョンを表示してインストールを確認する: python -c "import openvino as ov; print(ov.__version__)"
openvino はどこで入手できますか？
ソースコードとインストール手順は GitHub にあります：https://github.com/openvinotoolkit/openvino

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト