microsoft/Olive

これは何？

主な機能

• 01単一の`olive optimize`コマンドで実行できる自動最適化パイプライン。
• 02GPTQを使い、int4などの低精度に量子化。
• 03Hugging Faceモデルを、重みを別ファイルにしたONNXグラフとしてエクスポート。
• 04ONNX Runtimeを通じてCPU、GPU、NPUを対象に最適化。
• 05最適化に加えて、ファインチューニングや変換のステップにも対応。

ユースケース

• 小規模な言語モデルをint4のONNX形式に変換し、デバイス上で推論する。
• Hugging FaceのLLMを、Windowsやエッジハードウェア上でONNX Runtimeを使ってデプロイできるよう準備する。
• 量子化の設定を試し、モデルサイズ、精度、レイテンシのバランスを調整する。

クイックスタート

1. 1

   pipでOliveをインストールする

   pip install olive-ai
2. 2

   transformersとonnxruntime-genaiをインストールする

   pip install transformers onnxruntime-genai
3. 3

   Qwen2.5-0.5B-Instructをint4に自動最適化する

   olive optimize --model_name_or_path Qwen/Qwen2.5-0.5B-Instruct --precision int4 --output_path models/qwen

使う前に知っておきたいこと

• !Python環境と、Hugging Faceからのモデルのダウンロードが必要です。
• !一部の最適化機能には、オプションのextrasと追加の依存関係が必要です。

トピック

よくある質問

Olive とは？

モデルのファインチューニング、変換、量子化を組み合わせ、CPU、GPU、NPU向けに最適化されたONNXモデルを生成するPythonツールキット。 Oliveは、ONNX Runtimeを基盤とするAIモデル最適化ツールキットです。モデルとターゲットのハードウェアプラットフォームを指定すると、量子化やグラフ最適化などの手法を組み合わせ、精度やレイテンシなどの制約を守りながら、クラウドやエッジデバイスでの推論に適した効率的なONNXモデルの生成を目指します。

Olive は無料で使えますか？ライセンスは？

Olive は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

Olive は今もメンテナンスされていますか？

活発にメンテナンス中。Olive の最終コミットは 2026年11月7日 です。

Olive は何に使えますか？

小規模な言語モデルをint4のONNX形式に変換し、デバイス上で推論する。 Hugging FaceのLLMを、Windowsやエッジハードウェア上でONNX Runtimeを使ってデプロイできるよう準備する。 量子化の設定を試し、モデルサイズ、精度、レイテンシのバランスを調整する。

Olive のインストール方法は？

pipでOliveをインストールする: pip install olive-ai transformersとonnxruntime-genaiをインストールする: pip install transformers onnxruntime-genai Qwen2.5-0.5B-Instructをint4に自動最適化する: olive optimize --model_name_or_path Qwen/Qwen2.5-0.5B-Instruct --precision int4 --output_path models/qwen

Olive はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/microsoft/Olive