Azure-Samples/AI-Gateway

这是什么？

核心功能

• 01覆盖模型、工具和智能体三类网关场景的实操 Notebook
• 02提供可部署到 Azure 的 Bicep 模板和 APIM 策略 XML
• 03包含令牌速率限制、语义缓存和后端负载均衡示例
• 04支持基于 OAuth 的 MCP 服务器接入与客户端授权流程
• 05提供 OpenAI API 模拟服务器、速率限制测试等开发工具

适用场景

• 在向内部团队开放 LLM 接口前，配置速率限制和成本控制
• 通过集中式 OAuth 凭据管理，将 MCP 工具接入智能体
• 评估 Azure OpenAI 部署中的语义缓存或多后端路由方案
• 学习如何用企业级 API 网关管理 AI 智能体和工具

快速上手

1. 1

   使用 README 中的官方安装脚本安装 uv（Linux/macOS）

2. 2

   克隆仓库

   git clone https://github.com/Azure-Samples/AI-Gateway.git
3. 3

   进入项目文件夹并创建虚拟环境、安装依赖

   cd AI-Gateway && uv sync
4. 4

   打开 VS Code，选择 .venv 内核后开始运行实验笔记本

   code .

使用前须知

• !实验需要将资源部署到 Azure 订阅，因此需要具有 Contributor 和 RBAC 管理员角色的 Azure 账户。
• !需要安装 Azure CLI 以及带 Jupyter 扩展的 VS Code。
• !实验专门针对 Azure，并非可独立运行、与云无关的网关。

收录于专题

标签

常见问题

AI-Gateway 是什么？

一组基于 Azure API Management AI 网关的实操 Jupyter 实验，用于管理 AI 模型、MCP 工具和智能体。 AI Gateway Labs 是一组可实际操作的 Jupyter Notebook 实验，演示如何在模型、工具和智能体前面部署 Azure API Management。每个实验都包含分步说明、Bicep 基础设施模板和 APIM 策略，可部署到自己的 Azure 订阅中。

AI-Gateway 可以免费使用吗？用的什么许可证？

AI-Gateway 以 MIT 许可证开源。用于商业产品前，请先确认许可证条款。

AI-Gateway 还在维护吗？

活跃维护中。AI-Gateway 最近一次提交是在 2026年11月5日。

AI-Gateway 适合用来做什么？

在向内部团队开放 LLM 接口前，配置速率限制和成本控制 通过集中式 OAuth 凭据管理，将 MCP 工具接入智能体 评估 Azure OpenAI 部署中的语义缓存或多后端路由方案 学习如何用企业级 API 网关管理 AI 智能体和工具

AI-Gateway 怎么安装和运行？

使用 README 中的官方安装脚本安装 uv（Linux/macOS） 克隆仓库: git clone https://github.com/Azure-Samples/AI-Gateway.git 进入项目文件夹并创建虚拟环境、安装依赖: cd AI-Gateway && uv sync 打开 VS Code，选择 .venv 内核后开始运行实验笔记本: code .

在哪里获取 AI-Gateway？

源代码和安装说明在 GitHub 上：https://github.com/Azure-Samples/AI-Gateway