Repolode
提交项目
vllm-project

vllm-project/semantic-router

开源可编程决策层，为每次请求在本地、私有和云端模型与算力之间选择或组合模型，统一为一个 API 入口。

在 GitHub 查看官网
Star
6,412
Fork
1,111
未关闭 Issue
878
最近提交
20小时前

这是什么？

vLLM Semantic Router 位于智能体或应用与多个模型后端之间。它对外提供统一的推理接口（例如公开模型 ID vllm-sr/auto），不再把所有请求都发给同一个模型，而是根据运营方定义的策略，为每次调用决定由哪个模型或哪组模型来回答。

路由策略可以设置质量、延迟和成本的优先级，也可以限定调用必须在边缘、私有或云端哪类算力上执行。智能体框架仍然保留自身的循环、工具和任务状态，路由层只负责模型与后端的选择。

项目主要使用 Go 编写，适合同时运行多个大模型、希望把路由决策做成可配置而非硬编码在业务代码中的团队。项目采用 Apache-2.0 许可证。

核心功能

  • 01对外提供统一推理接口，将请求路由到多个已配置的模型。
  • 02根据运营方定义的策略，为每次调用选择或组合模型。
  • 03支持按质量、延迟和成本优先级进行路由决策。
  • 04可将调用限制在边缘、私有或云端等已批准的位置内执行。
  • 05在 Hugging Face 上提供路由模型合集（Decision 与 Vela 系列）。

适用场景

  • 让智能体框架根据任务难度或成本，把请求分配给不同模型。
  • 将敏感请求保留在私有或本地算力上处理，其他请求发送至云端模型。
  • 在统一入口后面协调多个 vLLM 服务后端，实现多模型协作。

快速上手

  1. 1

    运行 README 中的官方安装脚本

  2. 2

    将你的 agent harness 指向 Router 端点，并使用模型 ID vllm-sr/auto

  3. 3

    可选：试用在线 playground

标签

#llm#ai-gateway#inference#llm-routing#kubernetes#guardrails#vllm#mixture-of-models#llmrouter#pytorch

常见问题

semantic-router 是什么？
开源可编程决策层，为每次请求在本地、私有和云端模型与算力之间选择或组合模型，统一为一个 API 入口。 vLLM Semantic Router 位于智能体或应用与多个模型后端之间。它对外提供统一的推理接口（例如公开模型 ID vllm-sr/auto），不再把所有请求都发给同一个模型，而是根据运营方定义的策略，为每次调用决定由哪个模型或哪组模型来回答。
semantic-router 可以免费使用吗？用的什么许可证？
semantic-router 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。
semantic-router 还在维护吗？
活跃维护中。semantic-router 最近一次提交是在 2026年11月6日。
semantic-router 适合用来做什么？
让智能体框架根据任务难度或成本，把请求分配给不同模型。 将敏感请求保留在私有或本地算力上处理，其他请求发送至云端模型。 在统一入口后面协调多个 vLLM 服务后端，实现多模型协作。
semantic-router 怎么安装和运行？
运行 README 中的官方安装脚本 将你的 agent harness 指向 Router 端点，并使用模型 ID vllm-sr/auto 可选：试用在线 playground
在哪里获取 semantic-router？
源代码和安装说明在 GitHub 上：https://github.com/vllm-project/semantic-router

概要由 AI 根据项目 README 生成；GitHub 数据每日更新。

相关项目