Repolode
maximhq

maximhq/bifrost

Открытый AI-шлюз с единым OpenAI-совместимым API для 23+ LLM-провайдеров, резервным переключением, балансировкой нагрузки, семантическим кэшированием и виртуальными ключами.

Звёзды
8,932
Форки
1,424
Открытые issues
1,248
Последний коммит
24 часа назад

Что это?

Bifrost — это AI-шлюз между вашим приложением и LLM-провайдерами, такими как OpenAI, Anthropic, AWS Bedrock, Google Vertex и Azure. Приложения отправляют запросы на единый OpenAI-совместимый эндпоинт, а Bifrost направляет их выбранному провайдеру или модели.

Он берёт на себя задачи по надёжности и управлению затратами, которые обычно решаются в коде приложения: автоматически переключается на другие провайдеры и модели, распределяет нагрузку между несколькими API-ключами и кэширует похожие ответы семантически. Для управления доступом и расходами доступны виртуальные ключи, лимиты запросов и иерархические бюджеты для команд и клиентов, а также метрики Prometheus и журналирование запросов.

Bifrost можно запускать через npx или Docker — в нём есть веб-интерфейс для настройки и мониторинга; подключать как Go SDK; либо использовать как готовую замену, изменив базовый URL в существующих SDK OpenAI, Anthropic или GenAI. Кроме того, он работает как MCP-шлюз, открывая моделям доступ к внешним инструментам.

Ключевые возможности

  • 01Единый OpenAI-совместимый API для множества LLM-провайдеров и моделей
  • 02Автоматическое переключение на резервные варианты и балансировка нагрузки между провайдерами и API-ключами
  • 03Семантическое кэширование похожих ответов для снижения затрат и задержек
  • 04Виртуальные ключи, лимиты запросов и иерархические бюджеты для управления доступом и расходами
  • 05Метрики Prometheus, распределённая трассировка и журналирование запросов
  • 06Поддержка MCP-шлюза для предоставления моделям доступа к внешним инструментам

Сценарии использования

  • Поддержание работы приложения при сбое одного из LLM-провайдеров
  • Отслеживание и ограничение расходов на LLM для каждой команды, клиента или API-ключа
  • Переключение существующего приложения на базе OpenAI или Anthropic SDK на другие модели изменением базового URL
  • Централизация доступа к моделям и подключений к инструментам для coding-агентов и внутренних AI-сервисов

Быстрый старт

  1. 1

    Запустите Bifrost Gateway локально с помощью npx

    npx -y @maximhq/bifrost
  2. 2

    Или запустите его с помощью Docker

    docker run -p 8080:8080 maximhq/bifrost
  3. 3

    Откройте встроенный веб-интерфейс для настройки

    open http://localhost:8080
  4. 4

    Выполните первый вызов API через шлюз

    curl -X POST http://localhost:8080/v1/chat/completions -H "Content-Type: application/json" -d '{"model": "openai/gpt-4o-mini", "messages": [{"role": "user", "content": "Hello, Bifrost!"}]}'

Что важно знать

  • Для фактического подключения к вышестоящим LLM-провайдерам нужны их API-ключи.
  • Некоторые корпоративные функции, например кластеризация, защитные механизмы и адаптивная балансировка нагрузки, доступны в отдельном корпоративном тарифе.

Темы

Частые вопросы

Что такое bifrost?
Открытый AI-шлюз с единым OpenAI-совместимым API для 23+ LLM-провайдеров, резервным переключением, балансировкой нагрузки, семантическим кэшированием и виртуальными ключами. Bifrost — это AI-шлюз между вашим приложением и LLM-провайдерами, такими как OpenAI, Anthropic, AWS Bedrock, Google Vertex и Azure. Приложения отправляют запросы на единый OpenAI-совместимый эндпоинт, а Bifrost направляет их выбранному провайдеру или модели.
bifrost можно использовать бесплатно? Какая у него лицензия?
bifrost распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
bifrost всё ещё поддерживается?
Активно поддерживается. Последний коммит в bifrost — 19 окт. 2026 г..
Для чего можно использовать bifrost?
Поддержание работы приложения при сбое одного из LLM-провайдеров Отслеживание и ограничение расходов на LLM для каждой команды, клиента или API-ключа Переключение существующего приложения на базе OpenAI или Anthropic SDK на другие модели изменением базового URL Централизация доступа к моделям и подключений к инструментам для coding-агентов и внутренних AI-сервисов
Как установить bifrost?
Запустите Bifrost Gateway локально с помощью npx: npx -y @maximhq/bifrost Или запустите его с помощью Docker: docker run -p 8080:8080 maximhq/bifrost Откройте встроенный веб-интерфейс для настройки: open http://localhost:8080 Выполните первый вызов API через шлюз: curl -X POST http://localhost:8080/v1/chat/completions -H "Content-Type: application/json" -d '{"model": "openai/gpt-4o-mini", "messages": [{"role": "user", "content": "Hello, Bifrost!"}]}'
Где скачать bifrost?
Исходный код и инструкции по установке — на GitHub: https://github.com/maximhq/bifrost

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты

Самостоятельно размещаемый AI-шлюз под лицензией MIT: единый OpenAI-совместимый endpoint для сотен провайдеров моделей, с автоматическим переключением с учётом квот и сжатием токенов.

78,3 тыс.11,4 тыс.TypeScriptMITОбновлён вчера

Самостоятельно разворачиваемый AI-шлюз с API, совместимыми с OpenAI, Claude и Gemini, который маршрутизирует запросы к разным провайдерам моделей и отслеживает ключи, квоты и расходы.

50,3 тыс.12,1 тыс.GoAGPL-3.0Обновлён 22 часа назад

Локальный шлюз моделей, который объединяет Claude Code, Codex, OpenCode и другие инструменты для программирования на одной конечной точке и распределяет запросы между провайдерами.

37,8 тыс.3,2 тыс.TypeScriptMITОбновлён 10 дней назад