llm-d/llm-d-router

어떤 프로젝트인가요?

핵심 기능

• 01KV-cache 지역성, 현재 부하, 우선순위 신호를 사용해 요청을 라우팅합니다.
• 02ext-proc 프로토콜을 통해 Envoy와 통합합니다.
• 03사이드카 또는 서비스 프록시 토폴로지로 Helm 기반 독립 실행 배포를 지원합니다.
• 04Istio와 클라우드 로드 밸런서를 포함한 Kubernetes Gateway API와 연동합니다.
• 05A/B 테스트와 카나리 롤아웃을 위한 모델 이름 재작성을 제공합니다.
• 06P/D 및 E/P/D 분리형 추론 워크플로를 조정합니다.

활용 사례

• Kubernetes에서 여러 모델 서버 복제본으로 LLM 추론 트래픽을 라우팅합니다.
• 관련 요청을 동일한 백엔드로 보내 프리픽스 캐시 적중률을 높입니다.
• 게이트웨이에서 모델 이름을 재작성해 카나리 롤아웃이나 A/B 테스트를 수행합니다.
• 분리형 Prefill/Decode 추론 파이프라인을 제공합니다.

빠른 시작

1. 1

   Kubernetes에서 독립형으로 배포하는 방법은 Helm 차트 문서를 참고하세요

사용 전 알아둘 점

• !Kubernetes 클러스터가 필요하며, Kubernetes에서 추론 트래픽을 라우팅하도록 설계되었습니다.
• !Envoy를 직접 설치하고 구성하는 경우 지원되는 request_body_mode와 response_body_mode는 FULL_DUPLEX_STREAMED뿐입니다.

포함된 컬렉션

토픽

자주 묻는 질문

llm-d-router은(는) 무엇인가요?

부하, 프리픽스 캐시, 우선순위 신호를 바탕으로 Kubernetes에서 요청을 라우팅하는 LLM 추론 트래픽용 지능형 진입점입니다. llm-d Router는 LLM 추론을 위한 요청 라우팅 계층입니다. Endpoint Picker(EPP)는 백엔드 풀의 현재 상태를 바탕으로 들어오는 각 요청을 평가하고, KV-cache 지역성, 현재 부하, 우선순위를 고려해 가장 적합한 모델 서버를 선택합니다. ext-proc 프로토콜을 통해 Envoy 기반 프록시에 연결되므로 데이터 플레인에서 배치 결정을 내립니다.

llm-d-router은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

llm-d-router은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

llm-d-router은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. llm-d-router의 마지막 커밋은 2026년 11월 6일입니다.

llm-d-router은(는) 어디에 사용할 수 있나요?

Kubernetes에서 여러 모델 서버 복제본으로 LLM 추론 트래픽을 라우팅합니다. 관련 요청을 동일한 백엔드로 보내 프리픽스 캐시 적중률을 높입니다. 게이트웨이에서 모델 이름을 재작성해 카나리 롤아웃이나 A/B 테스트를 수행합니다. 분리형 Prefill/Decode 추론 파이프라인을 제공합니다.

llm-d-router는 어떻게 설치하나요?

Kubernetes에서 독립형으로 배포하는 방법은 Helm 차트 문서를 참고하세요

llm-d-router은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/llm-d/llm-d-router