开源 AI 网关与 Python SDK,用统一的 OpenAI 格式调用 100 多家大模型服务。
- Star
- 564
- Fork
- 117
- 未关闭 Issue
- 17
- 最近提交
- 10天前
这是什么?
AI Proxy 是位于应用与大模型服务商之间的 AI 网关。客户端可以使用 OpenAI Chat Completions、Claude Messages 或 Gemini 协议发送请求,代理会按渠道优先级转发到已配置的上游服务,并在出错时重试,同时在多个服务商之间做负载均衡。
在路由之外,它还提供多租户管理能力,包括按分组设置配额、RPM 和 TPM 限制、自定义模型定价,以及基于令牌并可限制子网的访问控制。管理面板可查看仪表盘、请求日志、错误率和成本分析,并对余额不足和异常情况发出告警。
插件方面支持基于 Redis 或内存的缓存、通过 Google、Bing 和 Arxiv 进行联网搜索,可将推理模型 <think> 标签中的内容拆分出来,并对非流式请求采用内部流式传输以避免超时。项目还支持 MCP 服务集成,以及向 Responses API 的协议转换。
核心功能
- 01同时接受 OpenAI、Claude 和 Gemini 协议,并可将请求转换为 Responses API 格式
- 02基于优先级的渠道选择,支持重试和跨服务商负载均衡
- 03多租户分组,支持 RPM/TPM 限制、配额和按模型自定义定价
- 04管理面板提供请求日志、错误率分析和成本统计
- 05提供缓存、联网搜索、推理内容拆分和流式兜底等插件
适用场景
- 为内部应用提供统一的 OpenAI 风格接口,背后对接多家模型服务商
- 让 Claude Code、Gemini CLI、Codex 等工具通过本地代理使用其他服务商的模型
- 在同一网关中为多个团队或客户管理 API 访问权限、配额和计费
快速上手
- 1
使用 Docker 运行 AI Proxy(默认配置)
docker run -d \ --name aiproxy \ -p 3000:3000 \ -v $(pwd)/aiproxy:/aiproxy \ -e ADMIN_KEY=your-admin-key \ ghcr.io/labring/aiproxy:latest - 2
在 localhost:3000 打开管理面板和 API 浏览器(Swagger 位于 /swagger/index.html)
使用前须知
- 从源码构建需要 Go 1.24+,若构建可选前端还需要 Node.js 22+。
- 配置依赖大量环境变量,初次设置需要一定精力。
标签
常见问题
- aiproxy 是什么?
- 一个基于 Go 的 AI 网关,提供 OpenAI、Claude、Gemini 兼容接口,并将请求路由到多个上游模型渠道。 AI Proxy 是位于应用与大模型服务商之间的 AI 网关。客户端可以使用 OpenAI Chat Completions、Claude Messages 或 Gemini 协议发送请求,代理会按渠道优先级转发到已配置的上游服务,并在出错时重试,同时在多个服务商之间做负载均衡。
- aiproxy 可以免费使用吗?用的什么许可证?
- aiproxy 以 MIT 许可证开源。用于商业产品前,请先确认许可证条款。
- aiproxy 还在维护吗?
- 活跃维护中。aiproxy 最近一次提交是在 2026年10月12日。
- aiproxy 适合用来做什么?
- 为内部应用提供统一的 OpenAI 风格接口,背后对接多家模型服务商 让 Claude Code、Gemini CLI、Codex 等工具通过本地代理使用其他服务商的模型 在同一网关中为多个团队或客户管理 API 访问权限、配额和计费
- aiproxy 怎么安装和运行?
- 使用 Docker 运行 AI Proxy(默认配置): docker run -d \ --name aiproxy \ -p 3000:3000 \ -v $(pwd)/aiproxy:/aiproxy \ -e ADMIN_KEY=your-admin-key \ ghcr.io/labring/aiproxy:latest 在 localhost:3000 打开管理面板和 API 浏览器(Swagger 位于 /swagger/index.html)
- 在哪里获取 aiproxy?
- 源代码和安装说明在 GitHub 上:https://github.com/labring/aiproxy
概要由 AI 根据项目 README 生成;GitHub 数据每日更新。
相关项目
开源 AI 网关,通过统一的 OpenAI 兼容 API 接入 23 家以上大模型服务,支持故障转移、负载均衡与语义缓存。
开源 AI 网关,无需改代码即可用任意 SDK 调用 100 多个大模型,支持故障转移、负载均衡与成本追踪。
一个 MIT 开源的 AI 网关,通过统一端点接入数百家模型服务商,支持配额感知的自动降级与 Token 压缩。
自托管的 AI 网关,将多家上游模型服务统一为 OpenAI、Claude、Gemini 兼容接口,并提供路由、密钥、配额与用量统计。
基于 Envoy 的开源控制平面,为应用提供统一的 OpenAI 兼容 API,对接托管模型、自建推理服务和 MCP 服务器。