aurelio-labs/semantic-router

어떤 프로젝트인가요?

핵심 기능

• 01예시 발화와 벡터 임베딩을 사용해 의미 유사도에 따라 요청을 라우팅합니다.
• 02소형 의사결정 모델을 기반으로 한 DecisionRouter를 제공해 한 번의 호출로 라우트를 선택합니다.
• 03fit()과 신뢰도 임계값을 사용해 신뢰도 점수를 확률로 보정합니다.
• 04Chain으로 폴백을 처리하고 Merge로 여러 라우터의 결과를 평균해 라우터를 결합합니다.
• 05하이브리드 검색, 여러 벡터 저장소, 이미지 멀티모달 라우트를 지원합니다.
• 06API 키 없이 FastEmbed로 완전히 로컬에서 실행할 수 있습니다.

활용 사례

• LLM을 호출하기 전에 챗봇이 어떤 도구나 에이전트를 사용할지 결정합니다.
• 고객 지원 어시스턴트에서 주제와 무관하거나 민감한 쿼리를 필터링합니다.
• 핫라인이나 분류 워크플로에 사용할 지연 시간이 짧은 의도 분류를 구축합니다.
• 주제에 따라 사용자 메시지를 서로 다른 프롬프트나 파이프라인으로 라우팅합니다.

빠른 시작

1. 1

   로컬 FastEmbed 인코더를 사용해 Semantic Router를 설치합니다

   pip install -qU "semantic-router[fastembed]"
2. 2

   경로를 정의하고 FastEmbed 인코더를 생성해 IndexedRouter를 구성한 다음, 쿼리에 호출합니다

사용 전 알아둘 점

• !라우팅 품질은 작성한 예시 발화와 라벨이 지정된 데이터를 사용한 임계값 보정에 따라 달라집니다.
• !일부 기능(OpenAI, Cohere, Pinecone 등)을 사용하려면 API 키나 외부 서비스가 필요합니다.

토픽

자주 묻는 질문

semantic-router은(는) 무엇인가요?

의미 유사도나 소형 의사결정 모델을 기반으로 요청을 라우팅하고 보정된 신뢰도를 반환하는 LLM 및 에이전트용 의사결정 계층입니다. Semantic Router는 전체 LLM 생성을 기다리지 않고 사용자 요청이 어떤 라우트에 해당하는지 판단합니다. 각 라우트는 예시 발화로 정의하며, 들어오는 쿼리를 임베딩해 벡터 공간에서 예시와 비교하므로 밀리초 단위로 결정할 수 있습니다. 또는 DecisionRouter가 소형 의사결정 모델(Jev, Laya 또는 Von)에 한 번 호출해 적용할 라우트를 선택하도록 할 수 있습니다.

semantic-router은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

semantic-router은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

semantic-router은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. semantic-router의 마지막 커밋은 2026년 10월 21일입니다.

semantic-router은(는) 어디에 사용할 수 있나요?

LLM을 호출하기 전에 챗봇이 어떤 도구나 에이전트를 사용할지 결정합니다. 고객 지원 어시스턴트에서 주제와 무관하거나 민감한 쿼리를 필터링합니다. 핫라인이나 분류 워크플로에 사용할 지연 시간이 짧은 의도 분류를 구축합니다. 주제에 따라 사용자 메시지를 서로 다른 프롬프트나 파이프라인으로 라우팅합니다.

semantic-router는 어떻게 설치하나요?

로컬 FastEmbed 인코더를 사용해 Semantic Router를 설치합니다: pip install -qU "semantic-router[fastembed]" 경로를 정의하고 FastEmbed 인코더를 생성해 IndexedRouter를 구성한 다음, 쿼리에 호출합니다

semantic-router은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/aurelio-labs/semantic-router