microsoft/vidur

これは何？

主な機能

• 01LLMサービングのワークロードについて、TTFT、TPOT、エンドツーエンドレイテンシ、バッチサイズを推定します。
• 02対象ハードウェアで初期プロファイリングを行った後は、GPUなしで実行できます。
• 03複数のGPUノードタイプで、テンソル並列とパイプライン並列の組み合わせに対応します。
• 04合成リクエストジェネレーターとAzure LLM inference tracesを利用できます。
• 05Chrome traceをエクスポートし、wandbまたはローカルの出力ディレクトリに指標を記録します。
• 06新しいスケジューラーや最適化を試せるよう拡張できます。

ユースケース

• レイテンシ目標を満たす最も低コストなデプロイ構成を見つけるためのキャパシティプランニング。
• 同じトラフィックトレースを使ったスケジューリングポリシーの比較。
• 実際のGPUで実装する前に、投機的デコーディングなどのサービング最適化を研究する。
• モデルサイズや並列化設定がサービング性能に与える影響を調査する。

クイックスタート

1. 1

   Python 3.10でvenvを作成する

   python3.10 -m venv .venv
2. 2

   仮想環境を有効化する

   source .venv/bin/activate
3. 3

   依存関係をインストールする

   python -m pip install -r requirements.txt
4. 4

   リポジトリのルートからシミュレーターを実行する

   python -m vidur.main

使う前に知っておきたいこと

• !Python 3.10が必要です。また、新しいモデルやSKUでは最初にGPUプロファイリングを行う必要があります。
• !サポート対象のモデルとハードウェアは、記載されている構成に限られます。
• !プレフィックスキャッシュなど、一部の機能はcanaryブランチでのみ利用できます。

収録されている特集

トピック

よくある質問

vidur とは？

GPUなしで性能調査やデプロイ計画、スケジューリング案の検証ができる、高精度なLLM推論システムシミュレーターです。 Vidurは、GPUクラスター上で大規模言語モデルがリクエストを処理する様子をシミュレーションします。指定したワークロード、モデル、ハードウェア構成に基づき、time to first token（TTFT）、出力トークンあたりの時間（TPOT）、リクエストのエンドツーエンドレイテンシ、バッチサイズなどの指標をモデル化します。実際のGPUで短時間の初期プロファイリングを行った後は、GPUを使わずに実験を実行できます。

vidur は無料で使えますか？ライセンスは？

vidur は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

vidur は今もメンテナンスされていますか？

半年以内に更新あり。vidur の最終コミットは 2026年8月24日 です。

vidur は何に使えますか？

レイテンシ目標を満たす最も低コストなデプロイ構成を見つけるためのキャパシティプランニング。 同じトラフィックトレースを使ったスケジューリングポリシーの比較。 実際のGPUで実装する前に、投機的デコーディングなどのサービング最適化を研究する。 モデルサイズや並列化設定がサービング性能に与える影響を調査する。

vidur のインストール方法は？

Python 3.10でvenvを作成する: python3.10 -m venv .venv 仮想環境を有効化する: source .venv/bin/activate 依存関係をインストールする: python -m pip install -r requirements.txt リポジトリのルートからシミュレーターを実行する: python -m vidur.main

vidur はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/microsoft/vidur