mylxsw/llm-gateway

这是什么？

核心功能

• 01兼容 OpenAI Chat、Responses、Embeddings、音频和图像接口，并支持 Anthropic Messages。
• 02在 OpenAI Chat、OpenAI Responses 与 Anthropic 格式之间转换请求和流式响应。
• 03支持轮询、优先级、权重和最低价格等路由策略，并可按规则匹配。
• 04对服务端错误自动重试，并可切换到备用服务商。
• 05记录 token 用量、延迟和完整请求响应内容，并对敏感信息做脱敏。
• 06提供 Web 管理面板和 MCP 管理接口。

适用场景

• 让多个内部应用通过同一个地址和 API Key 访问多家大模型服务。
• 为 AI 功能增加服务商故障转移，避免单一服务商中断导致功能不可用。
• 按 API Key、模型或服务商统计 token 用量和成本。
• 让已有的 OpenAI 或 Anthropic SDK 代码接入 Ollama、vLLM 等自部署模型。

快速上手

1. 1

   克隆代码仓库

   git clone https://github.com/mylxsw/llm-gateway.git
2. 2

   进入项目目录，并在启动前设置 ADMIN_USERNAME 和 ADMIN_PASSWORD

   cd llm-gateway
3. 3

   使用 Docker Compose 启动服务（控制台地址 http://localhost:8000）

   docker compose -f docker-compose.prod.yml up -d

使用前须知

• !如果未设置 ADMIN_USERNAME 和 ADMIN_PASSWORD，管理接口默认对外开放，因此必须配置管理员凭据。
• !该项目为自托管，生产使用需要配置提供商、API 密钥和加密密钥。
• !元数据中未列出许可证，但 README 中的徽章显示为 MIT。

标签

常见问题

llm-gateway 是什么？

自托管的 LLM 网关，统一代理 OpenAI、Anthropic 及兼容接口，提供路由、故障转移、请求日志和管理面板。 Squirrel 是一个位于应用与大模型服务商之间的代理网关。应用只需把 OpenAI 或 Anthropic SDK 的地址指向网关，请求即会转发到已配置的上游服务商，服务商凭证、模型名称和路由规则都集中在一处管理。

llm-gateway 可以免费使用吗？用的什么许可证？

llm-gateway 没有声明许可证。代码虽然公开，但没有许可证就没有明确的使用授权，正式使用前建议先联系作者。

llm-gateway 还在维护吗？

活跃维护中。llm-gateway 最近一次提交是在 2026年10月4日。

llm-gateway 适合用来做什么？

让多个内部应用通过同一个地址和 API Key 访问多家大模型服务。 为 AI 功能增加服务商故障转移，避免单一服务商中断导致功能不可用。 按 API Key、模型或服务商统计 token 用量和成本。 让已有的 OpenAI 或 Anthropic SDK 代码接入 Ollama、vLLM 等自部署模型。

llm-gateway 怎么安装和运行？

克隆代码仓库: git clone https://github.com/mylxsw/llm-gateway.git 进入项目目录，并在启动前设置 ADMIN_USERNAME 和 ADMIN_PASSWORD: cd llm-gateway 使用 Docker Compose 启动服务（控制台地址 http://localhost:8000）: docker compose -f docker-compose.prod.yml up -d

在哪里获取 llm-gateway？

源代码和安装说明在 GitHub 上：https://github.com/mylxsw/llm-gateway