Repolode
提交项目
mnfst

mnfst/llm-gateway

开源 LLM 网关，通过统一的 OpenAI 兼容接口，把 AI 智能体和应用的请求路由到多家模型服务商。

可替代:OpenRouter

在 GitHub 查看官网
Star
7,595
Fork
522
未关闭 Issue
54
最近提交
昨天

这是什么？

Manifest LLM Gateway 位于 AI 智能体或应用与模型服务商之间。你可以接入 API Key、订阅账号、本地模型或兼容 OpenAI/Anthropic 协议的自定义端点，所有请求都经由同一个 OpenAI 兼容接口转发。将 model 设为 "auto" 时，网关会为每次请求选择合适的模型，避免应用被绑定在单一服务商上。

网关会完整记录请求与报错内容，按请求统计费用，并支持费用提醒和用量限制。请求失败时，可以自动切换到其他模型。内置 35 个服务商连接，涵盖 OpenAI、Anthropic、Google、DeepSeek 等云端 API，也支持 Ollama、LM Studio、llama.cpp 等本地运行时。

项目以 Docker 镜像发布，可部署到 Railway、Render、AWS、GCP、DigitalOcean、Fly.io 等平台。请求记录根据平台存储在 PostgreSQL 中，并使用 S3 兼容存储或持久化磁盘保存。

核心功能

  • 01通过统一的 OpenAI 兼容接口接入 API Key、订阅、本地模型和自定义服务商
  • 02设置 "model": "auto" 即可由网关自动选择模型
  • 03完整记录请求与错误内容
  • 04按请求统计费用，支持费用提醒和用量限制
  • 05请求失败时自动切换到其他模型

适用场景

  • 让 AI 智能体跨多个服务商调用模型，无需修改应用代码
  • 统计并限制团队或项目的大模型开销
  • 自托管网关，同时接入云端 API 与本地 Ollama、llama.cpp 模型
  • 通过查看请求与错误日志排查智能体调用问题

标签

#llm#gateway#openai-compatible#llm-router#cost-tracking#observability#self-hosted#docker#ai#ai-sdk

常见问题

llm-gateway 是什么？
开源 LLM 网关，通过统一的 OpenAI 兼容接口，把 AI 智能体和应用的请求路由到多家模型服务商。 Manifest LLM Gateway 位于 AI 智能体或应用与模型服务商之间。你可以接入 API Key、订阅账号、本地模型或兼容 OpenAI/Anthropic 协议的自定义端点，所有请求都经由同一个 OpenAI 兼容接口转发。将 model 设为 "auto" 时，网关会为每次请求选择合适的模型，避免应用被绑定在单一服务商上。
llm-gateway 可以免费使用吗？用的什么许可证？
llm-gateway 以 MIT 许可证开源。用于商业产品前，请先确认许可证条款。
llm-gateway 还在维护吗？
活跃维护中。llm-gateway 最近一次提交是在 2026年10月21日。
llm-gateway 适合用来做什么？
让 AI 智能体跨多个服务商调用模型，无需修改应用代码 统计并限制团队或项目的大模型开销 自托管网关，同时接入云端 API 与本地 Ollama、llama.cpp 模型 通过查看请求与错误日志排查智能体调用问题
在哪里获取 llm-gateway？
源代码和安装说明在 GitHub 上：https://github.com/mnfst/llm-gateway

概要由 AI 根据项目 README 生成；GitHub 数据每日更新。

相关项目