respanai/respan-gateway

这是什么？

核心功能

• 01兼容 OpenAI Chat、OpenAI Responses、Anthropic Messages 和 Gemini API 请求，并在不同服务商之间互相转换。
• 02跨多家厂商支持实时语音、图像、语音合成、转写、向量嵌入和视频接口。
• 03可接入 MCP 服务器和内置工具厂商，让任意模型在对话请求中调用工具。
• 04提供命名路由、故障转移、重试、按成本或速度选择以及对冲请求。
• 05记录每次调用的费用、延迟和 token 用量，并可将追踪数据发送到 Respan。
• 06可作为独立服务运行，也可作为 Python 进程内库或 Rust 组件嵌入。

适用场景

• 不修改 SDK 代码，在多家大模型厂商之间切换现有应用。
• 通过故障转移和重试，避免某个模型服务商变慢或故障时影响业务请求。
• 借助 MCP 让任意模型调用网页搜索、浏览器或代码执行等工具。
• 在一个请求日志中统一查看多个 AI 服务商的费用与延迟。

快速上手

1. 1

   用 pip 安装网关

   pip install respan-gateway
2. 2

   设置厂商 API 密钥并运行网关

   export OPENAI_API_KEY=sk-... respan-gateway
3. 3

   将 SDK 指向 http://localhost:8080 并调用任意模型

使用前须知

• !README 中的性能数据来自项目自身基准测试，未经独立验证。
• !若要在非本机地址提供服务，必须配置客户端密钥，因此公网部署需要配置文件。
• !项目较新，仅有 199 个星标，生态和社区支持有限。

收录于专题

标签

常见问题

respan-gateway 是什么？

一个 Rust 单文件网关，让任意 AI SDK 通过同一端点调用多家大模型，并支持 MCP 工具、流量控制与请求日志。 Respan Gateway 位于你的代码与各家 AI API 之间，是一个 Rust 编写的单个可执行文件。现有的 OpenAI、Anthropic 或 Gemini SDK 只需把地址指向它，即可调用任意已配置的对话模型，请求格式之间的流式输出、工具调用、图像与推理内容会相互转换。

respan-gateway 可以免费使用吗？用的什么许可证？

respan-gateway 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。

respan-gateway 还在维护吗？

活跃维护中。respan-gateway 最近一次提交是在 2026年11月6日。

respan-gateway 适合用来做什么？

不修改 SDK 代码，在多家大模型厂商之间切换现有应用。 通过故障转移和重试，避免某个模型服务商变慢或故障时影响业务请求。 借助 MCP 让任意模型调用网页搜索、浏览器或代码执行等工具。 在一个请求日志中统一查看多个 AI 服务商的费用与延迟。

respan-gateway 怎么安装和运行？

用 pip 安装网关: pip install respan-gateway 设置厂商 API 密钥并运行网关: export OPENAI_API_KEY=sk-... respan-gateway 将 SDK 指向 http://localhost:8080 并调用任意模型

在哪里获取 respan-gateway？

源代码和安装说明在 GitHub 上：https://github.com/respanai/respan-gateway