Repolode
提交项目
theopenco

theopenco/llmgateway

开源 LLM API 网关，通过兼容 OpenAI 的接口统一调用多家模型服务商，并提供密钥管理与用量分析。

可替代:OpenRouter

在 GitHub 查看官网
Star
1,726
Fork
201
未关闭 Issue
87
最近提交
昨天

这是什么？

LLM Gateway 位于应用与大模型服务商之间，支持 OpenAI、Anthropic、Google Vertex AI 等多家提供方。应用只需请求同一个入口，网关会将请求转发给所选的服务商，无需为每家单独对接。

各服务商的 API 密钥可以集中管理。网关会统计请求数、Token 用量、响应时间和费用，并支持对比不同模型的性能与性价比。

可以直接使用官方托管版本，也可以通过 Docker 自部署，统一镜像内已包含 PostgreSQL 和 Redis。项目为 TypeScript 单体仓库，后端使用 Hono，前端仪表盘基于 Next.js，数据层使用 Drizzle ORM。核心代码采用 AGPLv3 许可，ee/ 目录中的部分企业功能需单独商业授权。

核心功能

  • 01提供兼容 OpenAI 格式的 API，用于路由到多家服务商
  • 02集中管理各服务商的 API 密钥
  • 03按请求统计 Token 用量、费用和响应时间
  • 04对比不同模型的性能与成本
  • 05支持 Docker 自部署，也可直接使用托管服务

适用场景

  • 在尽量少改代码的前提下，把基于 OpenAI 的应用迁移到其他服务商
  • 跨团队或多个项目统计 LLM 花费与 Token 用量
  • 在选定默认模型前对比成本与延迟
  • 自建 LLM 网关，将请求数据保留在自己的基础设施中

快速上手

  1. 1

    安装依赖并设置开发环境（需要 Docker）

    pnpm i && pnpm run setup
  2. 2

    启动开发服务器

    pnpm dev

使用前须知

  • 核心代码采用 AGPLv3 许可，这是一种具有传染性的 copyleft 许可，对网络服务有义务要求。
  • ee/ 目录中的商业功能需要付费的企业许可证。
  • 开发环境依赖 Docker 提供的数据库等服务。

收录于专题

Claude Code 工具、技能与插件OpenTelemetry 与可观测性平台微服务框架与服务基础设施

标签

#llm#ai-gateway#openai-compatible#api-gateway#observability#rate-limiting#typescript#ai#analytics#anthropic

常见问题

llmgateway 是什么？
开源 LLM API 网关，通过兼容 OpenAI 的接口统一调用多家模型服务商，并提供密钥管理与用量分析。 LLM Gateway 位于应用与大模型服务商之间，支持 OpenAI、Anthropic、Google Vertex AI 等多家提供方。应用只需请求同一个入口，网关会将请求转发给所选的服务商，无需为每家单独对接。
llmgateway 可以免费使用吗？用的什么许可证？
llmgateway 以 Other 许可证开源。用于商业产品前，请先确认许可证条款。
llmgateway 还在维护吗？
活跃维护中。llmgateway 最近一次提交是在 2026年11月6日。
llmgateway 适合用来做什么？
在尽量少改代码的前提下，把基于 OpenAI 的应用迁移到其他服务商 跨团队或多个项目统计 LLM 花费与 Token 用量 在选定默认模型前对比成本与延迟 自建 LLM 网关，将请求数据保留在自己的基础设施中
llmgateway 怎么安装和运行？
安装依赖并设置开发环境（需要 Docker）: pnpm i && pnpm run setup 启动开发服务器: pnpm dev
在哪里获取 llmgateway？
源代码和安装说明在 GitHub 上：https://github.com/theopenco/llmgateway

概要由 AI 根据项目 README 生成；GitHub 数据每日更新。

相关项目