llm-d/llm-d-router

O que é?

Recursos principais

• 01Roteia solicitações usando sinais de localidade do KV-cache, carga atual e prioridade.
• 02Integra-se ao Envoy pelo protocolo ext-proc.
• 03Oferece suporte à implantação standalone via Helm, com topologias de proxy como sidecar ou serviço.
• 04Funciona com a Gateway API do Kubernetes, incluindo Istio e balanceadores de carga de provedores de nuvem.
• 05Permite reescrever nomes de modelos para testes A/B e rollouts canário.
• 06Coordena fluxos de inferência desagregada P/D e E/P/D.

Casos de uso

• Roteamento de tráfego de inferência de LLM entre várias réplicas de servidores de modelos no Kubernetes.
• Aumento da taxa de acerto do cache de prefixo, enviando solicitações relacionadas ao mesmo backend.
• Execução de rollouts canário ou testes A/B com a reescrita de nomes de modelos no gateway.
• Atendimento de pipelines de inferência desagregada Prefill/Decode.

Início rápido

1. 1

   Consulte a documentação do chart do Helm para fazer uma implantação autônoma no Kubernetes

Antes de usar

• !Requer um cluster Kubernetes; foi projetado para rotear tráfego de inferência no Kubernetes.
• !Se você instalar e configurar o Envoy por conta própria, os únicos valores compatíveis para request_body_mode e response_body_mode são FULL_DUPLEX_STREAMED.

Em coleções

Tópicos

Perguntas frequentes

O que é llm-d-router?

Ponto de entrada inteligente para tráfego de inferência de LLM, que roteia solicitações no Kubernetes com base em carga, cache de prefixo e prioridade. O llm-d Router é uma camada de roteamento de solicitações para inferência de LLM. Seu Endpoint Picker (EPP) avalia cada solicitação recebida com base no estado atual de um pool de backends, considerando a localidade do KV-cache, a carga atual e a prioridade para escolher o melhor servidor de modelos. Ele se integra a proxies baseados em Envoy pelo protocolo ext-proc, permitindo que as decisões de posicionamento ocorram no data plane.

llm-d-router é gratuito? Qual é a licença?

llm-d-router é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.

llm-d-router ainda é mantido?

Manutenção ativa. O último commit de llm-d-router foi em 5 de nov. de 2026.

Para que posso usar llm-d-router?

Roteamento de tráfego de inferência de LLM entre várias réplicas de servidores de modelos no Kubernetes. Aumento da taxa de acerto do cache de prefixo, enviando solicitações relacionadas ao mesmo backend. Execução de rollouts canário ou testes A/B com a reescrita de nomes de modelos no gateway. Atendimento de pipelines de inferência desagregada Prefill/Decode.

Como instalar llm-d-router?

Consulte a documentação do chart do Helm para fazer uma implantação autônoma no Kubernetes

Onde consigo llm-d-router?

O código-fonte e as instruções de instalação estão no GitHub: https://github.com/llm-d/llm-d-router