smg-project/smg

这是什么？

核心功能

• 01为自部署和云端后端提供统一的 OpenAI、Anthropic、Gemini 风格 API 接口。
• 02支持基于 KV 缓存感知的路由，以及另外九种负载均衡策略。
• 03原生 gRPC 管线，支持 prefill/decode 与 encode 分离。
• 04支持 Kubernetes Pod 自动发现，以及多节点高可用网格部署。
• 05支持 MCP 工具执行，并为多种开源模型提供工具调用与推理内容解析。
• 06提供 Prometheus 指标、OpenTelemetry 链路追踪和 WebAssembly 插件。

适用场景

• 在多台运行 vLLM 或 SGLang 的 GPU 服务器之间做负载均衡。
• 用一个 OpenAI 兼容入口同时对接本地引擎和云端托管模型。
• 为 LLM 服务增加认证、多租户控制和聊天记录存储。
• 在 Kubernetes 上部署带自动 worker 发现的推理路由平台。

快速上手

1. 1

   通过 Docker 安装

   docker pull lightseekorg/smg:latest
2. 2

   通过 Python 安装

   pip install smg
3. 3

   连接推理工作节点并启动网关

   smg launch --worker-urls http://localhost:8000
4. 4

   向网关发送聊天请求

   curl http://localhost:30000/v1/chat/completions -H "Content-Type: application/json" -d '{"model": "llama3", "messages": [{"role": "user", "content": "Hello!"}]}'

使用前须知

• !运行前需要至少一个已有的推理工作节点或云模型服务作为路由目标。
• !README 未说明稳定版状态，版本之间可能存在变动。

标签

常见问题

smg 是什么？

用 Rust 编写的引擎无关 LLM 网关，将兼容 OpenAI 和 Anthropic 的请求分发到自部署推理引擎与云端模型服务。 SMG（Shepherd Model Gateway）是一个模型路由网关，位于 LLM 推理服务和云端模型供应商之前，通过统一的入口对外提供服务。它负责管理 worker 生命周期，在 vLLM、SGLang、TensorRT-LLM、TokenSpeed、MLX 以及任意 OpenAI 兼容服务之间分配流量，也可以把请求转发到 OpenAI、Anthropic、Gemini、xAI、AWS Bedrock 和 Azure OpenAI。

smg 可以免费使用吗？用的什么许可证？

smg 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。

smg 还在维护吗？

活跃维护中。smg 最近一次提交是在 2026年10月19日。

smg 适合用来做什么？

在多台运行 vLLM 或 SGLang 的 GPU 服务器之间做负载均衡。 用一个 OpenAI 兼容入口同时对接本地引擎和云端托管模型。 为 LLM 服务增加认证、多租户控制和聊天记录存储。 在 Kubernetes 上部署带自动 worker 发现的推理路由平台。

smg 怎么安装和运行？

通过 Docker 安装: docker pull lightseekorg/smg:latest 通过 Python 安装: pip install smg 连接推理工作节点并启动网关: smg launch --worker-urls http://localhost:8000 向网关发送聊天请求: curl http://localhost:30000/v1/chat/completions -H "Content-Type: application/json" -d '{"model": "llama3", "messages": [{"role": "user", "content": "Hello!"}]}'

在哪里获取 smg？

源代码和安装说明在 GitHub 上：https://github.com/smg-project/smg