Python-защита без зависимостей, кроме numpy, выявляет сбои декодирования LLM — например, зацикливание и смену языка — и обрывает поток до показа некорректного текста.
10415PythonApache-2.0Активно поддерживаетсяОбновлён 2 месяца назад
vllm-project/semantic-router
Открытый программируемый уровень маршрутизации, который выбирает или объединяет LLM для каждого запроса и направляет их на локальные, частные или облачные backend-системы через единый API endpoint.
- Звёзды
- 6,412
- Форки
- 1,111
- Открытые issues
- 878
- Последний коммит
- 12 часов назад
Что это?
vLLM Semantic Router располагается между агентом или приложением и набором backend-систем моделей. Вместо того чтобы отправлять каждый запрос одной модели, он предоставляет единый endpoint для инференса (например, публичный ID модели vllm-sr/auto) и для каждого вызова решает, какая настроенная модель или комбинация моделей должна ответить, исходя из заданных оператором политик.
Политика маршрутизации учитывает приоритеты качества, задержки и стоимости, а также допустимое место выполнения вызовов — например, на edge-устройствах, в частной инфраструктуре или в облаке. Агентская среда сама управляет циклом работы, инструментами и состоянием задачи; роутер отвечает только за выбор модели и backend-системы. Инсталлятор проекта, playground и коллекции моделей на Hugging Face входят в опубликованный набор инструментов.
Проект написан преимущественно на Go и предназначен для команд, использующих несколько LLM и желающих настраивать правила маршрутизации, а не жёстко прописывать их в коде приложения. Проект распространяется по лицензии Apache-2.0; в метаданных репозитория также указаны темы, связанные с Kubernetes.
Ключевые возможности
- 01Предоставляет единый endpoint для инференса, который распределяет запросы между несколькими настроенными моделями.
- 02Выбирает или объединяет модели для каждого вызова согласно заданной оператором политике.
- 03Позволяет учитывать при маршрутизации приоритеты качества, задержки и стоимости.
- 04Ограничивает выполнение вызовов разрешёнными средами: edge-инфраструктурой, частными системами и облаком.
- 05Предоставляет коллекцию моделей маршрутизации на Hugging Face (серии Decision и Vela).
Сценарии использования
- Направлять запросы агентской среды к разным моделям в зависимости от сложности задачи или стоимости.
- Обрабатывать чувствительные запросы в частной инфраструктуре или на собственных серверах, а остальные отправлять облачным моделям.
- Запускать систему с несколькими моделями на разных backend-системах под управлением vLLM через единый endpoint.
Быстрый старт
- 1
Запустите официальный скрипт установки из README
- 2
Настройте agent harness на endpoint Router, указав model ID `vllm-sr/auto`
- 3
При желании попробуйте онлайн-песочницу
Темы
#llm#ai-gateway#inference#llm-routing#kubernetes#guardrails#vllm#mixture-of-models#llmrouter#pytorch
Частые вопросы
- Что такое semantic-router?
- Открытый программируемый уровень маршрутизации, который выбирает или объединяет LLM для каждого запроса и направляет их на локальные, частные или облачные backend-системы через единый API endpoint. vLLM Semantic Router располагается между агентом или приложением и набором backend-систем моделей. Вместо того чтобы отправлять каждый запрос одной модели, он предоставляет единый endpoint для инференса (например, публичный ID модели vllm-sr/auto) и для каждого вызова решает, какая настроенная модель или комбинация моделей должна ответить, исходя из заданных оператором политик.
- semantic-router можно использовать бесплатно? Какая у него лицензия?
- semantic-router распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
- semantic-router всё ещё поддерживается?
- Активно поддерживается. Последний коммит в semantic-router — 6 нояб. 2026 г..
- Для чего можно использовать semantic-router?
- Направлять запросы агентской среды к разным моделям в зависимости от сложности задачи или стоимости. Обрабатывать чувствительные запросы в частной инфраструктуре или на собственных серверах, а остальные отправлять облачным моделям. Запускать систему с несколькими моделями на разных backend-системах под управлением vLLM через единый endpoint.
- Как установить semantic-router?
- Запустите официальный скрипт установки из README Настройте agent harness на endpoint Router, указав model ID `vllm-sr/auto` При желании попробуйте онлайн-песочницу
- Где скачать semantic-router?
- Исходный код и инструкции по установке — на GitHub: https://github.com/vllm-project/semantic-router
Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.
Похожие проекты
Open source control plane на базе Envoy предоставляет приложениям единый OpenAI-совместимый API для hosted LLM-провайдеров, self-hosted inference и MCP-серверов.
2,4 тыс.+43 за неделю455GoApache-2.0Обновлён 15 часов назад
Оператор Kubernetes для развёртывания и автомасштабирования LLM, моделей эмбеддингов и реранкинга, а также моделей преобразования речи в текст через API, совместимый с OpenAI.
1,3 тыс.144GoApache-2.0Активно поддерживаетсяОбновлён 4 дня назад
Нативная для Kubernetes платформа инференса для развёртывания и обслуживания больших языковых моделей с подключаемыми бэкендами, такими как vLLM, SGLang и llama.cpp.
31448GoApache-2.0Обновлён 2 месяца назад
Интеллектуальная точка входа для трафика LLM-инференса, маршрутизирующая запросы в Kubernetes с учетом нагрузки, попаданий в prefix cache и приоритетов.
458+15 за неделю516GoApache-2.0Активно поддерживаетсяОбновлён 13 часов назад
Единый бинарный файл на Rust, который предоставляет любому AI SDK одну точку доступа к разным LLM-провайдерам, а также инструменты MCP, управление трафиком и журналирование запросов.
584+176 за неделю90RustApache-2.0Активно поддерживаетсяОбновлён вчера