Repolode
Enviar
llm-d

llm-d/llm-d-router

Un punto de entrada inteligente para el tráfico de inferencia de LLM que enruta solicitudes en Kubernetes según la carga, la caché de prefijos y la prioridad.

Ver en GitHubSitio web
Estrellas
458
Forks
516
Issues abiertos
374
Último commit
hace 11 horas

¿Qué es?

llm-d Router es una capa de enrutamiento de solicitudes para la inferencia de LLM. Su Endpoint Picker (EPP) evalúa cada solicitud entrante según el estado actual de un conjunto de backends y tiene en cuenta la localidad de la caché KV, la carga actual y la prioridad para elegir el mejor servidor de modelos. Se integra con proxies basados en Envoy mediante el protocolo ext-proc, por lo que las decisiones de asignación se toman en el plano de datos.

El router puede ejecutarse en modo independiente con un proxy Envoy autogestionado, desplegado como sidecar o como servicio escalable separado y configurado mediante un chart de Helm. En producción, también puede ejecutarse en modo Gateway, donde un HTTPRoute de una gateway compartida de Gateway API hace referencia a un InferencePool, con integraciones con Istio, AgentGateway y el Application Load Balancer de Google Cloud.

El repositorio también incluye las APIs InferenceObjective e InferenceModelRewrite para definir objetivos de planificación y reescribir nombres de modelos, lo que permite realizar pruebas A/B y despliegues canary. Un sidecar de desagregación coordina los flujos de trabajo Prefill/Decode y Encode/Prefill/Decode con workers especializados.

Funciones clave

  • 01Enruta solicitudes según la localidad de la caché KV, la carga actual y las señales de prioridad.
  • 02Se integra con Envoy mediante el protocolo ext-proc.
  • 03Admite despliegues independientes mediante Helm, con topologías de proxy como sidecar o como servicio.
  • 04Funciona con Kubernetes Gateway API, incluidas las integraciones con Istio y los balanceadores de carga en la nube.
  • 05Permite reescribir nombres de modelos para realizar pruebas A/B y despliegues canary.
  • 06Coordina flujos de trabajo de inferencia desagregada P/D y E/P/D.

Casos de uso

  • Enrutar el tráfico de inferencia de LLM entre varias réplicas de servidores de modelos en Kubernetes.
  • Mejorar la tasa de aciertos de la caché de prefijos al enviar solicitudes relacionadas al mismo backend.
  • Realizar despliegues canary o pruebas A/B reescribiendo nombres de modelos en la gateway.
  • Servir pipelines de inferencia desagregada Prefill/Decode.

Inicio rápido

  1. 1

    Consulta la documentación del gráfico de Helm para realizar una implementación independiente en Kubernetes

Antes de usarlo

  • Requiere un clúster de Kubernetes; está diseñado para enrutar el tráfico de inferencia en Kubernetes.
  • Si instalas y configuras Envoy por tu cuenta, los únicos valores admitidos para request_body_mode y response_body_mode son FULL_DUPLEX_STREAMED.

En colecciones

Ejecuta LLM en local

Temas

#llm-inference#kubernetes#gateway-api#envoy#load-balancing#llm-routing#ext-proc#ai#inference#networking

Preguntas frecuentes

¿Qué es llm-d-router?
Un punto de entrada inteligente para el tráfico de inferencia de LLM que enruta solicitudes en Kubernetes según la carga, la caché de prefijos y la prioridad. llm-d Router es una capa de enrutamiento de solicitudes para la inferencia de LLM. Su Endpoint Picker (EPP) evalúa cada solicitud entrante según el estado actual de un conjunto de backends y tiene en cuenta la localidad de la caché KV, la carga actual y la prioridad para elegir el mejor servidor de modelos. Se integra con proxies basados en Envoy mediante el protocolo ext-proc, por lo que las decisiones de asignación se toman en el plano de datos.
¿llm-d-router es gratuito? ¿Qué licencia tiene?
llm-d-router es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿llm-d-router sigue mantenido?
Mantenimiento activo. El último commit de llm-d-router fue el 6 nov 2026.
¿Para qué puedo usar llm-d-router?
Enrutar el tráfico de inferencia de LLM entre varias réplicas de servidores de modelos en Kubernetes. Mejorar la tasa de aciertos de la caché de prefijos al enviar solicitudes relacionadas al mismo backend. Realizar despliegues canary o pruebas A/B reescribiendo nombres de modelos en la gateway. Servir pipelines de inferencia desagregada Prefill/Decode.
¿Cómo se instala llm-d-router?
Consulta la documentación del gráfico de Helm para realizar una implementación independiente en Kubernetes
¿Dónde consigo llm-d-router?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/llm-d/llm-d-router

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados