ferro-labs/ai-gateway

Что это?

Ключевые возможности

• 01Маршрутизирует запросы к 30 провайдерам LLM через единый API, совместимый с OpenAI.
• 02Предлагает восемь стратегий маршрутизации, включая переключение на резервный вариант, балансировку нагрузки и A/B-тестирование.
• 03Включает встроенные защитные механизмы: удаление PII, поиск секретов и обнаружение prompt injection.
• 04Поддерживает кэширование ответов, ограничение частоты запросов и контроль бюджета для отдельных ключей.
• 05Подключается к MCP-серверам инструментов через stdio и Streamable HTTP.
• 06Предоставляет трассировку OpenTelemetry и метрики Prometheus, по умолчанию отключённые.

Сценарии использования

• Предоставление внутренним командам единого endpoint для нескольких провайдеров LLM с переключением между ними при сбоях.
• Удаление PII или фильтрация контента до отправки промптов во внешние API моделей.
• Отслеживание расходов на токены и настройка бюджетов для отдельных ключей в разных приложениях.
• Запуск self-hosted шлюза в Kubernetes или Docker с существующими клиентами OpenAI SDK.

Быстрый старт

1. 1

   Установите CLI ferrogw с помощью npm

   npm install -g ferrogw
2. 2

   Задайте API-ключ вышестоящего провайдера (в данном случае OpenAI)

   export OPENAI_API_KEY=sk-your-key
3. 3

   Выполните ferrogw init, чтобы создать config.yaml и вывести мастер-ключ; сохраните его, так как он отображается только один раз

   ferrogw init
4. 4

   Запустите сервер на порту 8080 (сначала задайте GATEWAY_CONFIG и MASTER_KEY, как описано в README)

   ferrogw serve

Что важно знать

• !Для маршрутизации запросов необходим как минимум один API-ключ вышестоящего провайдера, например OPENAI_API_KEY.

В подборках

Темы

Частые вопросы

Что такое ai-gateway?

Open-source Go-шлюз, который маршрутизирует запросы к LLM через 30 провайдеров по единому API, совместимому с OpenAI, и поддерживает кэширование, защитные механизмы и контроль затрат. Ferro Labs AI Gateway — это self-hosted прокси между вашим приложением и провайдерами LLM, такими как OpenAI, Anthropic и AWS Bedrock. Клиенты отправляют стандартные запросы в формате OpenAI на один endpoint, а шлюз перенаправляет их выбранному провайдеру. Доступны стратегии маршрутизации с переключением на резервный вариант, балансировкой нагрузки, выбором по минимальной задержке, оптимизацией затрат и A/B-тестированием.

ai-gateway можно использовать бесплатно? Какая у него лицензия?

ai-gateway распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.

ai-gateway всё ещё поддерживается?

Активно поддерживается. Последний коммит в ai-gateway — 2 нояб. 2026 г..

Для чего можно использовать ai-gateway?

Предоставление внутренним командам единого endpoint для нескольких провайдеров LLM с переключением между ними при сбоях. Удаление PII или фильтрация контента до отправки промптов во внешние API моделей. Отслеживание расходов на токены и настройка бюджетов для отдельных ключей в разных приложениях. Запуск self-hosted шлюза в Kubernetes или Docker с существующими клиентами OpenAI SDK.

Как установить ai-gateway?

Установите CLI ferrogw с помощью npm: npm install -g ferrogw Задайте API-ключ вышестоящего провайдера (в данном случае OpenAI): export OPENAI_API_KEY=sk-your-key Выполните ferrogw init, чтобы создать config.yaml и вывести мастер-ключ; сохраните его, так как он отображается только один раз: ferrogw init Запустите сервер на порту 8080 (сначала задайте GATEWAY_CONFIG и MASTER_KEY, как описано в README): ferrogw serve

Где скачать ai-gateway?

Исходный код и инструкции по установке — на GitHub: https://github.com/ferro-labs/ai-gateway