vllm-project/semantic-router

これは何？

主な機能

• 01複数の設定済みモデルにリクエストを振り分ける、単一の推論エンドポイントを提供します。
• 02運用者が定義したポリシーに基づき、呼び出しごとにモデルを選択または組み合わせます。
• 03品質、レイテンシ、コストの優先度をルーティングの判断に反映できます。
• 04エッジ、プライベート、クラウドのコンピューティング環境から、承認済みの場所に呼び出しを限定できます。
• 05ルーティングモデル（DecisionおよびVelaシリーズ）のHugging Faceモデルコレクションを提供します。

ユースケース

• タスクの難易度やコストに応じて、エージェントハーネスを異なるモデルに振り分ける。
• 機密性の高いリクエストはプライベートまたはオンプレミスのコンピューティング環境で処理し、それ以外はクラウドモデルに送る。
• 複数のvLLM提供バックエンドを単一のエンドポイントの背後に配置し、複数モデルを組み合わせた構成を運用する。

クイックスタート

1. 1

   READMEにある公式インストールスクリプトを実行します

2. 2

   model ID `vllm-sr/auto` を使って、agent harness の接続先を Router エンドポイントに設定します

3. 3

   必要に応じてオンラインプレイグラウンドを試します

トピック

よくある質問

semantic-router とは？

ローカル、プライベート、クラウドのバックエンドを対象に、リクエストごとにLLMを選択または組み合わせ、単一のAPIエンドポイントで提供する、オープンでプログラム可能な判断レイヤー。 vLLM Semantic Routerは、エージェントやアプリケーションと複数のモデルバックエンドの間に位置します。すべての呼び出しを1つのモデルに送るのではなく、単一の推論エンドポイント（たとえば、公開モデルIDのvllm-sr/auto）を提供し、運用者が定義したポリシーに基づいて、呼び出しごとにどのモデル、またはモデルの組み合わせが応答するかを決定します。

semantic-router は無料で使えますか？ライセンスは？

semantic-router は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

semantic-router は今もメンテナンスされていますか？

活発にメンテナンス中。semantic-router の最終コミットは 2026年11月6日 です。

semantic-router は何に使えますか？

タスクの難易度やコストに応じて、エージェントハーネスを異なるモデルに振り分ける。 機密性の高いリクエストはプライベートまたはオンプレミスのコンピューティング環境で処理し、それ以外はクラウドモデルに送る。 複数のvLLM提供バックエンドを単一のエンドポイントの背後に配置し、複数モデルを組み合わせた構成を運用する。

semantic-router のインストール方法は？

READMEにある公式インストールスクリプトを実行します model ID `vllm-sr/auto` を使って、agent harness の接続先を Router エンドポイントに設定します 必要に応じてオンラインプレイグラウンドを試します

semantic-router はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/vllm-project/semantic-router