vllm-project/semantic-router

어떤 프로젝트인가요?

핵심 기능

• 01여러 구성 모델로 요청을 라우팅하는 단일 추론 엔드포인트를 제공합니다.
• 02운영자가 정의한 정책에 따라 호출마다 모델을 선택하거나 조합합니다.
• 03품질, 지연 시간, 비용 우선순위에 따라 라우팅 결정을 내립니다.
• 04엣지, 프라이빗, 클라우드 컴퓨팅 등 승인된 위치 내에서 호출이 이루어지도록 합니다.
• 05라우팅 모델(Decision 및 Vela 시리즈)의 Hugging Face 모델 컬렉션을 제공합니다.

활용 사례

• 작업 난이도나 비용에 따라 에이전트 하네스가 서로 다른 모델을 사용하도록 라우팅합니다.
• 민감한 요청은 프라이빗 또는 온프레미스 컴퓨팅에서 처리하고, 그 외 요청은 클라우드 모델로 보냅니다.
• 여러 vLLM 서빙 백엔드에 걸친 mixture-of-models 구성을 단일 엔드포인트 뒤에서 운영합니다.

빠른 시작

1. 1

   README의 공식 설치 스크립트를 실행합니다

2. 2

   model ID `vllm-sr/auto`를 사용해 agent harness가 Router 엔드포인트를 가리키도록 설정합니다

3. 3

   선택 사항으로 온라인 플레이그라운드를 사용해 봅니다

토픽

자주 묻는 질문

semantic-router은(는) 무엇인가요?

로컬, 프라이빗, 클라우드 백엔드에서 요청마다 LLM을 선택하거나 조합하고, 단일 API 엔드포인트를 제공하는 개방형 프로그래밍 가능 의사결정 계층입니다. vLLM Semantic Router는 에이전트나 애플리케이션과 여러 모델 백엔드 사이에서 동작합니다. 모든 호출을 하나의 모델로 보내는 대신, 단일 추론 엔드포인트(예: 공개 모델 ID vllm-sr/auto)를 제공하고 운영자가 정의한 정책에 따라 호출마다 어떤 구성 모델 또는 모델 조합이 응답할지 결정합니다.

semantic-router은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

semantic-router은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

semantic-router은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. semantic-router의 마지막 커밋은 2026년 11월 6일입니다.

semantic-router은(는) 어디에 사용할 수 있나요?

작업 난이도나 비용에 따라 에이전트 하네스가 서로 다른 모델을 사용하도록 라우팅합니다. 민감한 요청은 프라이빗 또는 온프레미스 컴퓨팅에서 처리하고, 그 외 요청은 클라우드 모델로 보냅니다. 여러 vLLM 서빙 백엔드에 걸친 mixture-of-models 구성을 단일 엔드포인트 뒤에서 운영합니다.

semantic-router는 어떻게 설치하나요?

README의 공식 설치 스크립트를 실행합니다 model ID `vllm-sr/auto`를 사용해 agent harness가 Router 엔드포인트를 가리키도록 설정합니다 선택 사항으로 온라인 플레이그라운드를 사용해 봅니다

semantic-router은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/vllm-project/semantic-router