Открытый прокси для ИИ-агентов, который обеспечивает безопасность, наблюдаемость и управление трафиком к LLM, MCP-инструментам и между агентами.
5,4 тыс.961RustApache-2.0Обновлён 15 часов назад
theagentrouter/agent-router
Open source control plane на базе Envoy предоставляет приложениям единый OpenAI-совместимый API для hosted LLM-провайдеров, self-hosted inference и MCP-серверов.
- Звёзды
- 2,250
- Форки
- 423
- Открытые issues
- 368
- Последний коммит
- 15 часов назад
Что это?
Agent Router — это шлюз для трафика AI-приложений и агентов. Команды разработки используют единый OpenAI-совместимый API независимо от того, какая модель или инструмент находится за ним: hosted-провайдер, кластер self-hosted inference или MCP-сервер. Команды платформы централизованно управляют учётными данными, маршрутизацией, квотами, отказоустойчивостью и учётом использования, а за применение политик отвечают Envoy и Envoy Gateway.
Раньше проект назывался Envoy AI Gateway; он по-прежнему использует те же CRD, группу API, имя CLI и образы контейнеров. На ноутбуке CLI `aigw` запускает его как самостоятельный OpenAI-совместимый роутер на localhost. В Kubernetes он разворачивается через Envoy Gateway с помощью таких пользовательских ресурсов, как AIGatewayRoute и AIServiceBackend.
В проекте описан двухуровневый подход: шлюз Tier One отвечает за аутентификацию, маршрутизацию верхнего уровня и глобальное ограничение частоты запросов, а шлюз Tier Two контролирует доступ к кластерам обслуживания self-hosted-моделей и поддерживает endpoint picker для оптимизации inference.
Ключевые возможности
- 01Предоставляет единый OpenAI-совместимый API для множества провайдеров моделей.
- 02Поддерживает hosted-провайдеров, таких как OpenAI, Anthropic, AWS Bedrock и Google Gemini, а также self-hosted inference.
- 03Централизованно управляет учётными данными, маршрутизацией, квотами и отказоустойчивостью.
- 04Запускается на ноутбуке в автономном режиме через CLI `aigw` или в Kubernetes через Envoy Gateway.
- 05Предлагает двухуровневую схему шлюзов с поддержкой endpoint picker для self-hosted-моделей.
Сценарии использования
- Предоставление командам разработки одного API-ключа и endpoint для работы с несколькими LLM-провайдерами.
- Централизованное управление ограничениями частоты запросов, квотами и учётом использования трафика AI в организации.
- Маршрутизация запросов между hosted-моделями и кластерами self-hosted inference в Kubernetes.
- Запуск локального OpenAI-совместимого endpoint для разработки с помощью `aigw run`.
Быстрый старт
- 1
Запустите Agent Router отдельно на ноутбуке, используя свой ключ OpenAI
OPENAI_API_KEY=sk-your-key aigw run - 2
Укажите в любом совместимом с OpenAI клиенте локальный endpoint http://localhost:1975/v1
- 3
Инструкции по установке и автоматической настройке провайдера см. в руководстве по CLI
Что важно знать
- В README нет команды установки через менеджер пакетов; установка описана во внешнем руководстве по CLI.
- Для развертывания в Kubernetes требуется Envoy Gateway и отдельная, более сложная настройка.
Темы
Частые вопросы
- Что такое agent-router?
- Open source control plane на базе Envoy предоставляет приложениям единый OpenAI-совместимый API для hosted LLM-провайдеров, self-hosted inference и MCP-серверов. Agent Router — это шлюз для трафика AI-приложений и агентов. Команды разработки используют единый OpenAI-совместимый API независимо от того, какая модель или инструмент находится за ним: hosted-провайдер, кластер self-hosted inference или MCP-сервер. Команды платформы централизованно управляют учётными данными, маршрутизацией, квотами, отказоустойчивостью и учётом использования, а за применение политик отвечают Envoy и Envoy Gateway.
- agent-router можно использовать бесплатно? Какая у него лицензия?
- agent-router распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
- agent-router всё ещё поддерживается?
- Активно поддерживается. Последний коммит в agent-router — 20 окт. 2026 г..
- Для чего можно использовать agent-router?
- Предоставление командам разработки одного API-ключа и endpoint для работы с несколькими LLM-провайдерами. Централизованное управление ограничениями частоты запросов, квотами и учётом использования трафика AI в организации. Маршрутизация запросов между hosted-моделями и кластерами self-hosted inference в Kubernetes. Запуск локального OpenAI-совместимого endpoint для разработки с помощью `aigw run`.
- Как установить agent-router?
- Запустите Agent Router отдельно на ноутбуке, используя свой ключ OpenAI: OPENAI_API_KEY=sk-your-key aigw run Укажите в любом совместимом с OpenAI клиенте локальный endpoint http://localhost:1975/v1 Инструкции по установке и автоматической настройке провайдера см. в руководстве по CLI
- Где скачать agent-router?
- Исходный код и инструкции по установке — на GitHub: https://github.com/theagentrouter/agent-router
Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.
Похожие проекты
Открытый AI-шлюз и реестр, объединяющий MCP, A2A и REST/gRPC API за одной точкой доступа с управлением, обнаружением и мониторингом.
4,7 тыс.929PythonApache-2.0Обновлён вчера
Kong — облачный, платформонезависимый API-, LLM- и MCP-шлюз с поддержкой плагинов для маршрутизации и защиты трафика сервисов.
44,3 тыс.5,2 тыс.LuaApache-2.0Обновлён позавчера
Самостоятельно разворачиваемый AI-шлюз с API, совместимыми с OpenAI, Claude и Gemini, который маршрутизирует запросы к разным провайдерам моделей и отслеживает ключи, квоты и расходы.
50,3 тыс.12,1 тыс.GoAGPL-3.0Обновлён позавчера
Локальный AI-движок с совместимым с OpenAI API: запускает LLM, модели для зрения, речи, изображений и видео на любом оборудовании, в том числе без GPU.
49,8 тыс.4,5 тыс.GoMITОбновлён 21 час назад
Компилятор машинного обучения и движок развёртывания, позволяющие запускать большие языковые модели на GPU, в браузерах и на мобильных устройствах с OpenAI-совместимыми API.
23,3 тыс.2,2 тыс.PythonApache-2.0Обновлён 15 дней назад