Единый бинарный файл на Rust, который предоставляет любому AI SDK одну точку доступа к разным LLM-провайдерам, а также инструменты MCP, управление трафиком и журналирование запросов.
Open source альтернатива:OpenRouter
Respan Gateway располагается между вашим кодом и AI API. Достаточно направить существующий SDK для OpenAI, Anthropic или Gemini на него — и он перенаправит запрос к любой настроенной чат-модели, преобразуя форматы запросов, в том числе для потоковой передачи, инструментов, изображений и рассуждений.
Помимо чата, шлюз поддерживает API для голосового взаимодействия в реальном времени, изображений, речи, транскрибации, эмбеддингов и видео у нескольких провайдеров. К нему также можно подключить MCP-серверы и встроенных поставщиков инструментов — например, для веб-поиска, просмотра страниц и запуска кода в песочнице. Благодаря этому обычный чат-запрос может использовать эти инструменты независимо от клиента или модели.
Для управления трафиком доступны именованные маршруты, резервные варианты, повторные попытки, выбор самого дешёвого или быстрого провайдера и параллельные запросы с резервным результатом. В журнале в реальном времени фиксируются стоимость, задержка и количество токенов для каждого вызова; трассировки можно отправлять в Respan. Конфигурация хранится в одном TOML-файле. Шлюз также можно запускать внутри процесса из Python или встраивать в сервис на Rust.
Установите gateway с помощью pip
pip install respan-gatewayУкажите API-ключ поставщика и запустите gateway
export OPENAI_API_KEY=sk-...
respan-gatewayНастройте SDK на http://localhost:8080 и вызовите любую модель
Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.
Самостоятельно размещаемый AI-шлюз под лицензией MIT: единый OpenAI-совместимый endpoint для сотен провайдеров моделей, с автоматическим переключением с учётом квот и сжатием токенов.
Самостоятельно размещаемый LLM-шлюз, совместимый с OpenAI: единая точка доступа к 40+ провайдерам, виртуальные ключи, бюджеты и учёт использования.
Самостоятельно размещаемый LLM API-шлюз для личного использования: объединяет каналы нескольких провайдеров за одной конечной точкой, поддерживает переключение при сбоях и учёт расходов.
API-шлюз с открытым исходным кодом, который направляет запросы к LLM через совместимый с OpenAI интерфейс, поддерживает управление ключами и аналитику использования.
Open-source Go-шлюз, который маршрутизирует запросы к LLM через 30 провайдеров по единому API, совместимому с OpenAI, и поддерживает кэширование, защитные механизмы и контроль затрат.
Самостоятельно размещаемый AI-шлюз на Go с API, совместимым с OpenAI и Anthropic, для работы с разными LLM-провайдерами, учёта затрат, переключения при сбоях и применения ограничений.