ferro-labs/ai-gateway

这是什么？

核心功能

• 01通过统一的 OpenAI 兼容接口访问 30 家 LLM 服务商。
• 02提供 8 种路由策略，包括 fallback、负载均衡和 A/B 测试。
• 03内置 PII 脱敏、密钥扫描和提示词注入检测等护栏插件。
• 04支持响应缓存、限流和按 Key 的预算控制。
• 05通过 stdio 和 Streamable HTTP 接入 MCP 工具服务器。
• 06提供 OpenTelemetry 链路追踪和 Prometheus 指标，默认关闭，按需开启。

适用场景

• 为团队提供统一的多模型入口，并在服务商之间自动切换。
• 在提示词发送到外部模型 API 前执行 PII 脱敏或内容过滤。
• 跨应用统计 token 消耗，并为每个 Key 设置预算。
• 在 Kubernetes 或 Docker 中自托管网关，让现有 OpenAI SDK 客户端无需改代码即可接入。

快速上手

1. 1

   使用 npm 安装 ferrogw 命令行工具

   npm install -g ferrogw
2. 2

   设置上游服务商的 API 密钥（此处为 OpenAI）

   export OPENAI_API_KEY=sk-your-key
3. 3

   运行 ferrogw init 生成 config.yaml 并打印主密钥；密钥只显示一次，请妥善保存

   ferrogw init
4. 4

   在 8080 端口启动服务（需先按 README 设置 GATEWAY_CONFIG 和 MASTER_KEY）

   ferrogw serve

使用前须知

• !要转发请求，至少需要一个上游服务商的 API 密钥，例如 OPENAI_API_KEY。

收录于专题

标签

常见问题

ai-gateway 是什么？

用 Go 编写的开源 LLM 网关，通过统一的 OpenAI 兼容接口路由 30 家模型服务商的请求。 Ferro Labs AI Gateway 是一个可自托管的代理服务，位于应用与 OpenAI、Anthropic、AWS Bedrock 等 LLM 服务商之间。客户端只需向一个端点发送标准 OpenAI 格式的请求，网关会按配置转发给对应服务商，并支持 fallback、负载均衡、最低延迟、成本优化和 A/B 测试等路由策略。

ai-gateway 可以免费使用吗？用的什么许可证？

ai-gateway 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。

ai-gateway 还在维护吗？

活跃维护中。ai-gateway 最近一次提交是在 2026年11月2日。

ai-gateway 适合用来做什么？

为团队提供统一的多模型入口，并在服务商之间自动切换。 在提示词发送到外部模型 API 前执行 PII 脱敏或内容过滤。 跨应用统计 token 消耗，并为每个 Key 设置预算。 在 Kubernetes 或 Docker 中自托管网关，让现有 OpenAI SDK 客户端无需改代码即可接入。

ai-gateway 怎么安装和运行？

使用 npm 安装 ferrogw 命令行工具: npm install -g ferrogw 设置上游服务商的 API 密钥（此处为 OpenAI）: export OPENAI_API_KEY=sk-your-key 运行 ferrogw init 生成 config.yaml 并打印主密钥；密钥只显示一次，请妥善保存: ferrogw init 在 8080 端口启动服务（需先按 README 设置 GATEWAY_CONFIG 和 MASTER_KEY）: ferrogw serve

在哪里获取 ai-gateway？

源代码和安装说明在 GitHub 上：https://github.com/ferro-labs/ai-gateway