面向 AI 应用的开源数据基础设施,用于存储文档与向量并支持语义、混合及全文检索。
aurelio-labs/semantic-router
面向 LLM 与智能体的决策层,基于语义相似度或小型决策模型快速路由请求,并给出校准后的置信度。
- Star
- 3,962
- Fork
- 382
- 未关闭 Issue
- 138
- 最近提交
- 7小时前
这是什么?
Semantic Router 可以在不等待 LLM 完整生成的情况下,判断用户请求属于哪个路由。每个路由由一组示例语句定义,输入查询会被向量化后在向量空间中与之比较,决策通常只需毫秒级。另外,DecisionRouter 可以调用小型决策模型(Jev、Laya 或 Von),一次调用即可选出适用的路由。
通过 fit() 可以把置信度校准为概率,并设置阈值,让路由在没有合适选项时返回 None。Chain 会在不确定时回退到更慢的路由器,Merge 则可以对多个路由器结果取平均。项目还支持稀疏编码器的混合检索、Pinecone、Qdrant 或 Postgres 索引,以及基于图片的多模态路由;编码器可选 OpenAI、Cohere、Hugging Face 或完全本地运行的 FastEmbed。
核心功能
- 01基于示例语句和向量嵌入,按语义相似度路由请求。
- 02提供由小型决策模型驱动的 DecisionRouter,单次调用即可选择路由。
- 03通过 fit() 和置信度阈值,将分数校准为可信的概率。
- 04用 Chain 实现回退路由,用 Merge 对多个路由器结果取平均。
- 05支持混合检索、Pinecone、Qdrant、Postgres 等索引以及图像多模态路由。
- 06可配合 FastEmbed 完全本地运行,无需 API 密钥。
适用场景
- 在调用 LLM 之前,决定聊天机器人应调用哪个工具或智能体。
- 在客服助手中过滤无关或敏感的问题。
- 为热线或分诊流程构建低延迟的意图分类。
- 根据话题把用户消息分发到不同的提示词或处理流程。
快速上手
- 1
安装带本地 FastEmbed 编码器的 Semantic Router
pip install -qU "semantic-router[fastembed]" - 2
定义路由、创建 FastEmbed 编码器并构建 IndexedRouter,然后对查询调用它
使用前须知
- 路由效果取决于你编写的示例语句,以及是否用带标签的数据校准阈值。
- 部分功能(如 OpenAI、Cohere、Pinecone 等)需要 API 密钥或外部服务。
标签
常见问题
- semantic-router 是什么?
- 面向 LLM 与智能体的决策层,基于语义相似度或小型决策模型快速路由请求,并给出校准后的置信度。 Semantic Router 可以在不等待 LLM 完整生成的情况下,判断用户请求属于哪个路由。每个路由由一组示例语句定义,输入查询会被向量化后在向量空间中与之比较,决策通常只需毫秒级。另外,DecisionRouter 可以调用小型决策模型(Jev、Laya 或 Von),一次调用即可选出适用的路由。
- semantic-router 可以免费使用吗?用的什么许可证?
- semantic-router 以 MIT 许可证开源。用于商业产品前,请先确认许可证条款。
- semantic-router 还在维护吗?
- 活跃维护中。semantic-router 最近一次提交是在 2026年10月21日。
- semantic-router 适合用来做什么?
- 在调用 LLM 之前,决定聊天机器人应调用哪个工具或智能体。 在客服助手中过滤无关或敏感的问题。 为热线或分诊流程构建低延迟的意图分类。 根据话题把用户消息分发到不同的提示词或处理流程。
- semantic-router 怎么安装和运行?
- 安装带本地 FastEmbed 编码器的 Semantic Router: pip install -qU "semantic-router[fastembed]" 定义路由、创建 FastEmbed 编码器并构建 IndexedRouter,然后对查询调用它
- 在哪里获取 semantic-router?
- 源代码和安装说明在 GitHub 上:https://github.com/aurelio-labs/semantic-router
概要由 AI 根据项目 README 生成;GitHub 数据每日更新。
相关项目
一个运行在你自己设备上的个人 AI 助手,可通过 WhatsApp、Telegram、Slack、Discord 等聊天工具与你交互。
AutoGPT 是一个开源的 AI 智能体平台,可通过自然语言描述或可视化搭建来构建、运行和调度完成多步骤工作流的智能体。
可自托管的 AI 第二大脑,基于网络和你的文档回答问题,并支持自定义智能体与定时自动化。
用于在 Python、.NET 和 Java 中构建 AI 智能体与多智能体系统的开源 SDK。
可自托管的 AI 智能体平台,基于你自己的文档回答问题,并附带引用来源。