llm-d/llm-d-router

これは何？

主な機能

• 01KV-cacheの局所性、現在の負荷、優先度を考慮してリクエストを振り分けます。
• 02ext-procプロトコルを介してEnvoyと連携します。
• 03Helmを使ったスタンドアロンデプロイに対応し、サイドカー型とサービス型のプロキシ構成を選べます。
• 04Istioやクラウドロードバランサーを含む、Kubernetes Gateway APIに対応しています。
• 05A/Bテストやカナリアロールアウト向けにモデル名を書き換えられます。
• 06P/DおよびE/P/Dの分離型推論ワークフローを調整します。

ユースケース

• Kubernetes上で複数のモデルサーバーレプリカにLLM推論トラフィックを振り分ける。
• 関連するリクエストを同じバックエンドに送信し、prefix-cacheのヒット率を高める。
• ゲートウェイでモデル名を書き換え、カナリアロールアウトやA/Bテストを実施する。
• 分離型のPrefill/Decode推論パイプラインを提供する。

クイックスタート

1. 1

   Kubernetesでスタンドアロンデプロイする方法について、Helmチャートのドキュメントを確認してください

使う前に知っておきたいこと

• !Kubernetesクラスターが必要です。Kubernetes上で推論トラフィックをルーティングするように設計されています。
• !Envoyを自分でインストールして設定する場合、サポートされるrequest_body_modeとresponse_body_modeはFULL_DUPLEX_STREAMEDのみです。

収録されている特集

トピック

よくある質問

llm-d-router とは？

負荷、prefix-cache、優先度を考慮し、Kubernetes上のLLM推論リクエストを振り分けるインテリジェントな入口です。 llm-d Routerは、LLM推論向けのリクエストルーティングレイヤーです。Endpoint Picker（EPP）は、バックエンドプールの現在の状態に照らして各リクエストを評価し、KV-cacheの局所性、現在の負荷、優先度を考慮して最適なモデルサーバーを選択します。ext-procプロトコルを介してEnvoyベースのプロキシと連携するため、配置の判断はデータプレーンで行われます。

llm-d-router は無料で使えますか？ライセンスは？

llm-d-router は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

llm-d-router は今もメンテナンスされていますか？

活発にメンテナンス中。llm-d-router の最終コミットは 2026年11月6日 です。

llm-d-router は何に使えますか？

Kubernetes上で複数のモデルサーバーレプリカにLLM推論トラフィックを振り分ける。 関連するリクエストを同じバックエンドに送信し、prefix-cacheのヒット率を高める。 ゲートウェイでモデル名を書き換え、カナリアロールアウトやA/Bテストを実施する。 分離型のPrefill/Decode推論パイプラインを提供する。

llm-d-router のインストール方法は？

Kubernetesでスタンドアロンデプロイする方法について、Helmチャートのドキュメントを確認してください

llm-d-router はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/llm-d/llm-d-router