theagentrouter/agent-router

这是什么？

核心功能

• 01对多个模型提供商暴露统一的 OpenAI 兼容 API。
• 02支持 OpenAI、Anthropic、AWS Bedrock、Google Gemini 等托管服务，也支持自建推理。
• 03集中管理凭证、路由、配额和故障切换。
• 04可通过 aigw 命令在本地独立运行，也可借助 Envoy Gateway 部署到 Kubernetes。
• 05提供两层网关模式，并支持 endpoint picker 优化自建模型推理。

适用场景

• 让应用团队通过同一个端点和密钥调用多家 LLM 服务。
• 在组织范围内集中管理 AI 流量的限流、配额和用量统计。
• 在 Kubernetes 上将请求路由到托管模型或自建推理集群。
• 开发阶段用 aigw run 启动本地 OpenAI 兼容接口。

快速上手

1. 1

   使用你的 OpenAI 密钥在笔记本上独立运行 Agent Router

   OPENAI_API_KEY=sk-your-key aigw run
2. 2

   将任意兼容 OpenAI 的客户端指向本地端点 http://localhost:1975/v1

3. 3

   阅读 CLI 指南了解安装和提供商自动配置

使用前须知

• !README 未提供包管理器安装命令，安装方法见外部 CLI 指南。
• !在 Kubernetes 上部署需要 Envoy Gateway，设置更为复杂。

标签

常见问题

agent-router 是什么？

基于 Envoy 的开源控制平面，为应用提供统一的 OpenAI 兼容 API，对接托管模型、自建推理服务和 MCP 服务器。 Agent Router 是面向 AI 与智能体流量的网关。应用只需调用一个 OpenAI 兼容的 API，无论后端是托管模型服务、自建推理集群还是 MCP 服务器。平台团队可以在同一处管理凭证、路由、配额、故障切换和用量归属，流量的执行由 Envoy 与 Envoy Gateway 完成。

agent-router 可以免费使用吗？用的什么许可证？

agent-router 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。

agent-router 还在维护吗？

活跃维护中。agent-router 最近一次提交是在 2026年10月20日。

agent-router 适合用来做什么？

让应用团队通过同一个端点和密钥调用多家 LLM 服务。 在组织范围内集中管理 AI 流量的限流、配额和用量统计。 在 Kubernetes 上将请求路由到托管模型或自建推理集群。 开发阶段用 aigw run 启动本地 OpenAI 兼容接口。

agent-router 怎么安装和运行？

使用你的 OpenAI 密钥在笔记本上独立运行 Agent Router: OPENAI_API_KEY=sk-your-key aigw run 将任意兼容 OpenAI 的客户端指向本地端点 http://localhost:1975/v1 阅读 CLI 指南了解安装和提供商自动配置

在哪里获取 agent-router？

源代码和安装说明在 GitHub 上：https://github.com/theagentrouter/agent-router