Repolode
aurelio-labs

aurelio-labs/semantic-router

面向 LLM 与智能体的决策层,基于语义相似度或小型决策模型快速路由请求,并给出校准后的置信度。

Star
3,962
Fork
382
未关闭 Issue
138
最近提交
7小时前

这是什么?

Semantic Router 可以在不等待 LLM 完整生成的情况下,判断用户请求属于哪个路由。每个路由由一组示例语句定义,输入查询会被向量化后在向量空间中与之比较,决策通常只需毫秒级。另外,DecisionRouter 可以调用小型决策模型(Jev、Laya 或 Von),一次调用即可选出适用的路由。

通过 fit() 可以把置信度校准为概率,并设置阈值,让路由在没有合适选项时返回 None。Chain 会在不确定时回退到更慢的路由器,Merge 则可以对多个路由器结果取平均。项目还支持稀疏编码器的混合检索、Pinecone、Qdrant 或 Postgres 索引,以及基于图片的多模态路由;编码器可选 OpenAI、Cohere、Hugging Face 或完全本地运行的 FastEmbed。

核心功能

  • 01基于示例语句和向量嵌入,按语义相似度路由请求。
  • 02提供由小型决策模型驱动的 DecisionRouter,单次调用即可选择路由。
  • 03通过 fit() 和置信度阈值,将分数校准为可信的概率。
  • 04用 Chain 实现回退路由,用 Merge 对多个路由器结果取平均。
  • 05支持混合检索、Pinecone、Qdrant、Postgres 等索引以及图像多模态路由。
  • 06可配合 FastEmbed 完全本地运行,无需 API 密钥。

适用场景

  • 在调用 LLM 之前,决定聊天机器人应调用哪个工具或智能体。
  • 在客服助手中过滤无关或敏感的问题。
  • 为热线或分诊流程构建低延迟的意图分类。
  • 根据话题把用户消息分发到不同的提示词或处理流程。

快速上手

  1. 1

    安装带本地 FastEmbed 编码器的 Semantic Router

    pip install -qU "semantic-router[fastembed]"
  2. 2

    定义路由、创建 FastEmbed 编码器并构建 IndexedRouter,然后对查询调用它

使用前须知

  • 路由效果取决于你编写的示例语句,以及是否用带标签的数据校准阈值。
  • 部分功能(如 OpenAI、Cohere、Pinecone 等)需要 API 密钥或外部服务。

标签

常见问题

semantic-router 是什么?
面向 LLM 与智能体的决策层,基于语义相似度或小型决策模型快速路由请求,并给出校准后的置信度。 Semantic Router 可以在不等待 LLM 完整生成的情况下,判断用户请求属于哪个路由。每个路由由一组示例语句定义,输入查询会被向量化后在向量空间中与之比较,决策通常只需毫秒级。另外,DecisionRouter 可以调用小型决策模型(Jev、Laya 或 Von),一次调用即可选出适用的路由。
semantic-router 可以免费使用吗?用的什么许可证?
semantic-router 以 MIT 许可证开源。用于商业产品前,请先确认许可证条款。
semantic-router 还在维护吗?
活跃维护中。semantic-router 最近一次提交是在 2026年10月21日。
semantic-router 适合用来做什么?
在调用 LLM 之前,决定聊天机器人应调用哪个工具或智能体。 在客服助手中过滤无关或敏感的问题。 为热线或分诊流程构建低延迟的意图分类。 根据话题把用户消息分发到不同的提示词或处理流程。
semantic-router 怎么安装和运行?
安装带本地 FastEmbed 编码器的 Semantic Router: pip install -qU "semantic-router[fastembed]" 定义路由、创建 FastEmbed 编码器并构建 IndexedRouter,然后对查询调用它
在哪里获取 semantic-router?
源代码和安装说明在 GitHub 上:https://github.com/aurelio-labs/semantic-router

概要由 AI 根据项目 README 生成;GitHub 数据每日更新。

相关项目