Repolode
theagentrouter

theagentrouter/agent-router

Envoyを基盤とするオープンソースのコントロールプレーン。ホスト型LLMプロバイダー、セルフホスト型推論、MCPサーバーを、アプリ向けの単一のOpenAI互換APIで利用できます。

スター
2,250
フォーク
423
未解決の Issue
368
最終コミット
8 時間前

これは何?

Agent Routerは、AIやエージェントのトラフィックを扱うゲートウェイです。アプリケーションチームは、背後にあるモデルやツールがホスト型プロバイダー、セルフホスト型推論クラスター、MCPサーバーのいずれであっても、単一のOpenAI互換APIを呼び出せます。プラットフォームチームは、認証情報、ルーティング、クォータ、フェイルオーバー、利用状況の帰属を一元管理でき、EnvoyとEnvoy Gatewayがポリシーを適用します。

このプロジェクトは以前Envoy AI Gatewayという名称で、同じCRD、APIグループ、CLI名、コンテナイメージを引き続き使用しています。ノートPCでは、aigw CLIを使ってlocalhost上でスタンドアロンのOpenAI互換ルーターとして実行できます。Kubernetesでは、AIGatewayRouteやAIServiceBackendなどのカスタムリソースを使い、Envoy Gateway経由でデプロイします。

このプロジェクトでは、2層構成のパターンを紹介しています。Tier Oneゲートウェイが認証、上位レベルのルーティング、グローバルなレート制限を担い、Tier Twoゲートウェイがセルフホスト型モデルのサービングクラスターへのアクセスを制御し、推論を最適化するendpoint pickerをサポートします。

主な機能

  • 01複数のモデルプロバイダーの前段に、単一のOpenAI互換APIを提供します。
  • 02OpenAI、Anthropic、AWS Bedrock、Google Geminiなどのホスト型プロバイダーに加え、セルフホスト型推論をサポートします。
  • 03認証情報、ルーティング、クォータ、フェイルオーバーを一元管理します。
  • 04aigw CLIを使ってノートPC上でスタンドアロン実行するか、Envoy Gateway経由でKubernetes上で実行できます。
  • 05セルフホスト型モデル向けにendpoint pickerをサポートする、2層構成のゲートウェイパターンを提供します。

ユースケース

  • 複数のLLMプロバイダーに対して、アプリケーションチームに単一のAPIキーとエンドポイントを提供する。
  • 組織全体のAIトラフィックについて、レート制限、クォータ、利用状況の追跡を一元化する。
  • Kubernetes上で、ホスト型モデルとセルフホスト型推論クラスターの間でリクエストをルーティングする。
  • 開発時にaigw runを使い、ローカルでOpenAI互換エンドポイントを実行する。

クイックスタート

  1. 1

    OpenAIキーを使って、Agent RouterをノートPC上で単独実行します

    OPENAI_API_KEY=sk-your-key aigw run
  2. 2

    OpenAI互換クライアントの接続先をローカルエンドポイント http://localhost:1975/v1 に設定します

  3. 3

    インストール方法とプロバイダーの自動設定については、CLIガイドを参照してください

使う前に知っておきたいこと

  • READMEにはパッケージマネージャーを使ったインストールコマンドは記載されていません。インストール方法は外部のCLIガイドで説明されています。
  • KubernetesへのデプロイにはEnvoy Gatewayが必要で、別途、より手順の多いセットアップが必要です。

トピック

よくある質問

agent-router とは?
Envoyを基盤とするオープンソースのコントロールプレーン。ホスト型LLMプロバイダー、セルフホスト型推論、MCPサーバーを、アプリ向けの単一のOpenAI互換APIで利用できます。 Agent Routerは、AIやエージェントのトラフィックを扱うゲートウェイです。アプリケーションチームは、背後にあるモデルやツールがホスト型プロバイダー、セルフホスト型推論クラスター、MCPサーバーのいずれであっても、単一のOpenAI互換APIを呼び出せます。プラットフォームチームは、認証情報、ルーティング、クォータ、フェイルオーバー、利用状況の帰属を一元管理でき、EnvoyとEnvoy Gatewayがポリシーを適用します。
agent-router は無料で使えますか?ライセンスは?
agent-router は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
agent-router は今もメンテナンスされていますか?
活発にメンテナンス中。agent-router の最終コミットは 2026年10月20日 です。
agent-router は何に使えますか?
複数のLLMプロバイダーに対して、アプリケーションチームに単一のAPIキーとエンドポイントを提供する。 組織全体のAIトラフィックについて、レート制限、クォータ、利用状況の追跡を一元化する。 Kubernetes上で、ホスト型モデルとセルフホスト型推論クラスターの間でリクエストをルーティングする。 開発時にaigw runを使い、ローカルでOpenAI互換エンドポイントを実行する。
agent-router のインストール方法は?
OpenAIキーを使って、Agent RouterをノートPC上で単独実行します: OPENAI_API_KEY=sk-your-key aigw run OpenAI互換クライアントの接続先をローカルエンドポイント http://localhost:1975/v1 に設定します インストール方法とプロバイダーの自動設定については、CLIガイドを参照してください
agent-router はどこで入手できますか?
ソースコードとインストール手順は GitHub にあります:https://github.com/theagentrouter/agent-router

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト