llm-d/llm-d-router

Что это?

Ключевые возможности

• 01Маршрутизирует запросы с учетом близости KV-cache, текущей нагрузки и приоритетов.
• 02Интегрируется с Envoy через протокол ext-proc.
• 03Поддерживает автономное развертывание через Helm с использованием прокси в виде sidecar или отдельного сервиса.
• 04Работает с Kubernetes Gateway API, включая Istio и облачные балансировщики нагрузки.
• 05Переименовывает модели для A/B-тестирования и canary-релизов.
• 06Координирует раздельные процессы инференса P/D и E/P/D.

Сценарии использования

• Маршрутизация трафика LLM-инференса между несколькими репликами серверов моделей в Kubernetes.
• Повышение доли попаданий в prefix cache за счет отправки связанных запросов на один и тот же бэкенд.
• Проведение canary-релизов или A/B-тестов путем переименования моделей на шлюзе.
• Обслуживание раздельных конвейеров инференса Prefill/Decode.

Быстрый старт

1. 1

   Ознакомьтесь с документацией Helm chart по автономному развертыванию в Kubernetes

Что важно знать

• !Требуется кластер Kubernetes; решение предназначено для маршрутизации трафика инференса в Kubernetes.
• !Если вы самостоятельно устанавливаете и настраиваете Envoy, поддерживаются только значения FULL_DUPLEX_STREAMED для request_body_mode и response_body_mode.

В подборках

Темы

Частые вопросы

Что такое llm-d-router?

Интеллектуальная точка входа для трафика LLM-инференса, маршрутизирующая запросы в Kubernetes с учетом нагрузки, попаданий в prefix cache и приоритетов. llm-d Router — это уровень маршрутизации запросов для LLM-инференса. Его Endpoint Picker (EPP) оценивает каждый входящий запрос с учетом текущего состояния пула бэкендов: близости KV-cache, текущей нагрузки и приоритета, чтобы выбрать подходящий сервер модели. Он подключается к прокси на базе Envoy через протокол ext-proc, поэтому решения о размещении запросов принимаются на уровне data plane.

llm-d-router можно использовать бесплатно? Какая у него лицензия?

llm-d-router распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.

llm-d-router всё ещё поддерживается?

Активно поддерживается. Последний коммит в llm-d-router — 6 нояб. 2026 г..

Для чего можно использовать llm-d-router?

Маршрутизация трафика LLM-инференса между несколькими репликами серверов моделей в Kubernetes. Повышение доли попаданий в prefix cache за счет отправки связанных запросов на один и тот же бэкенд. Проведение canary-релизов или A/B-тестов путем переименования моделей на шлюзе. Обслуживание раздельных конвейеров инференса Prefill/Decode.

Как установить llm-d-router?

Ознакомьтесь с документацией Helm chart по автономному развертыванию в Kubernetes

Где скачать llm-d-router?

Исходный код и инструкции по установке — на GitHub: https://github.com/llm-d/llm-d-router