openvinotoolkit/openvino.genai

これは何？

主な機能

• 01生成AIパイプラインを実行するためのPython、C++、Node.js API
• 02LLM、視覚言語モデル、画像、動画、音声、埋め込みモデルに対応
• 03OpenVINO Runtimeを通じてCPU、GPU、NPUで実行可能
• 04投機的デコード、KVキャッシュの削除、疎なAttentionを搭載
• 05LLMのサービング向けにプレフィックスキャッシュと連続バッチ処理を提供
• 06複数のLoRAアダプターの読み込みとブレンドに対応

ユースケース

• Intel製ノートPCやデスクトップで、オープンLLMを使ったローカルチャットボットを実行する
• ローカルハードウェア上でStable DiffusionやFluxモデルを使って画像や短い動画を生成する
• ローカルのテキスト埋め込みモデルとリランキングモデルを使ってRAGパイプラインを構築する
• Whisperによるオフライン音声テキスト変換をデスクトップアプリやC++アプリケーションに追加する

クイックスタート

1. 1

   PyPIからOpenVINO GenAIをインストールする

   pip install openvino-genai
2. 2

   Hugging FaceからモデルをOpenVINO IR形式にエクスポートする

   optimum-cli export openvino --model TinyLlama/TinyLlama-1.1B-Chat-v1.0 --weight-format int4 --trust-remote-code TinyLlama_1_1b_v1_ov
3. 3

   PythonでLLMPipelineを使って推論を実行する

   import openvino_genai as ov_genai pipe = ov_genai.LLMPipeline("TinyLlama_1_1b_v1_ov", "CPU") # Use CPU or GPU as devices without any other code change print(pipe.generate("What is OpenVINO?", max_new_tokens=100))

使う前に知っておきたいこと

• !OpenVINO Runtime上で動作するため、ハードウェアのサポートは同ランタイムのCPU、GPU、NPUの対応プラットフォームに限られます。
• !使用前にモデルをOpenVINO IR形式に変換する必要があり、追加のエクスポート手順が必要です。

収録されている特集

トピック

よくある質問

openvino.genai とは？

OpenVINO Runtime上でLLM、画像・音声・埋め込みモデルなどの生成AIモデルを実行するC++/Python/Node.jsライブラリ。 OpenVINO GenAIは、OpenVINO Runtimeを基盤とする、広く使われている生成AIモデル向けのパイプラインを備えたライブラリです。シンプルなC++、Python、Node.js APIを通じて、テキスト生成、視覚言語モデル、画像・動画生成、Whisperによる音声認識、SpeechT5によるテキスト読み上げ、テキスト埋め込みやリランキングの処理を実行できるため、モデルのパイプラインを自分で組み立てる必要はありません。

openvino.genai は無料で使えますか？ライセンスは？

openvino.genai は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

openvino.genai は今もメンテナンスされていますか？

活発にメンテナンス中。openvino.genai の最終コミットは 2026年10月22日 です。

openvino.genai は何に使えますか？

Intel製ノートPCやデスクトップで、オープンLLMを使ったローカルチャットボットを実行する ローカルハードウェア上でStable DiffusionやFluxモデルを使って画像や短い動画を生成する ローカルのテキスト埋め込みモデルとリランキングモデルを使ってRAGパイプラインを構築する Whisperによるオフライン音声テキスト変換をデスクトップアプリやC++アプリケーションに追加する

openvino.genai のインストール方法は？

PyPIからOpenVINO GenAIをインストールする: pip install openvino-genai Hugging FaceからモデルをOpenVINO IR形式にエクスポートする: optimum-cli export openvino --model TinyLlama/TinyLlama-1.1B-Chat-v1.0 --weight-format int4 --trust-remote-code TinyLlama_1_1b_v1_ov PythonでLLMPipelineを使って推論を実行する: import openvino_genai as ov_genai pipe = ov_genai.LLMPipeline("TinyLlama_1_1b_v1_ov", "CPU") # Use CPU or GPU as devices without any other code change print(pipe.generate("What is OpenVINO?", max_new_tokens=100))

openvino.genai はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/openvinotoolkit/openvino.genai