openvinotoolkit/model_server

これは何？

主な機能

• 01チャット、埋め込み、画像生成、音声に対応したOpenAI互換エンドポイント
• 02従来型モデルの推論向けKServe API
• 03LLM向けの継続的バッチ処理、ストリーミング、投機的デコード
• 04ローカル、クラウド、Hugging Faceストレージからのモデルのバージョン管理とホットリロード
• 05複数ステップのパイプラインを構築するMediaPipeグラフとPythonノード
• 06Prometheus互換メトリクス

ユースケース

• Intelハードウェア上で、OpenAI互換APIを介してローカルLLMを提供する
• Kubernetes上で、物体検出やOCRなどの従来型ビジョンモデルをデプロイする
• CPUまたはGPU上で、埋め込みモデルやリランキングモデルなどのRAGコンポーネントを実行する
• C APIを介して、モデル推論をネイティブC++アプリケーションに組み込む

クイックスタート

1. 1

   最新のOpenVINO Model Server Dockerイメージを取得する

   docker pull openvino/model_server:latest
2. 2

   READMEの「Serve an LLM」セクションに記載されているDockerコマンドで、LLMを使ってサーバーを実行する

使う前に知っておきたいこと

• !公式サポート対象はLinuxとWindowsのみで、macOSは記載されていません。
• !OpenVINOを通じたアクセラレーションは、Intelハードウェア（CPU、GPU、NPU）を対象としています。

トピック

よくある質問

model_server とは？

OpenVINOで最適化した生成AIモデルや従来型のディープラーニングモデルを、OpenAI互換APIとKServe APIで提供するC++推論サーバーです。 OpenVINO Model Server (OVMS) は、標準的なネットワークAPI経由で機械学習モデルを公開するC++推論サーバーです。LLM、ビジョン言語モデル、埋め込み、リランキング、画像生成、音声をOpenAI互換エンドポイントで提供し、物体検出、分類、OCRなどの従来型モデルはKServe APIで提供します。

model_server は無料で使えますか？ライセンスは？

model_server は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

model_server は今もメンテナンスされていますか？

活発にメンテナンス中。model_server の最終コミットは 2026年10月21日 です。

model_server は何に使えますか？

Intelハードウェア上で、OpenAI互換APIを介してローカルLLMを提供する Kubernetes上で、物体検出やOCRなどの従来型ビジョンモデルをデプロイする CPUまたはGPU上で、埋め込みモデルやリランキングモデルなどのRAGコンポーネントを実行する C APIを介して、モデル推論をネイティブC++アプリケーションに組み込む

model_server のインストール方法は？

最新のOpenVINO Model Server Dockerイメージを取得する: docker pull openvino/model_server:latest READMEの「Serve an LLM」セクションに記載されているDockerコマンドで、LLMを使ってサーバーを実行する

model_server はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/openvinotoolkit/model_server