Самостоятельно размещаемый AI-шлюз под лицензией MIT: единый OpenAI-совместимый endpoint для сотен провайдеров моделей, с автоматическим переключением с учётом квот и сжатием токенов.
maximhq/bifrost
Открытый AI-шлюз с единым OpenAI-совместимым API для 23+ LLM-провайдеров, резервным переключением, балансировкой нагрузки, семантическим кэшированием и виртуальными ключами.
- Звёзды
- 8,932
- Форки
- 1,424
- Открытые issues
- 1,248
- Последний коммит
- 24 часа назад
Что это?
Bifrost — это AI-шлюз между вашим приложением и LLM-провайдерами, такими как OpenAI, Anthropic, AWS Bedrock, Google Vertex и Azure. Приложения отправляют запросы на единый OpenAI-совместимый эндпоинт, а Bifrost направляет их выбранному провайдеру или модели.
Он берёт на себя задачи по надёжности и управлению затратами, которые обычно решаются в коде приложения: автоматически переключается на другие провайдеры и модели, распределяет нагрузку между несколькими API-ключами и кэширует похожие ответы семантически. Для управления доступом и расходами доступны виртуальные ключи, лимиты запросов и иерархические бюджеты для команд и клиентов, а также метрики Prometheus и журналирование запросов.
Bifrost можно запускать через npx или Docker — в нём есть веб-интерфейс для настройки и мониторинга; подключать как Go SDK; либо использовать как готовую замену, изменив базовый URL в существующих SDK OpenAI, Anthropic или GenAI. Кроме того, он работает как MCP-шлюз, открывая моделям доступ к внешним инструментам.
Ключевые возможности
- 01Единый OpenAI-совместимый API для множества LLM-провайдеров и моделей
- 02Автоматическое переключение на резервные варианты и балансировка нагрузки между провайдерами и API-ключами
- 03Семантическое кэширование похожих ответов для снижения затрат и задержек
- 04Виртуальные ключи, лимиты запросов и иерархические бюджеты для управления доступом и расходами
- 05Метрики Prometheus, распределённая трассировка и журналирование запросов
- 06Поддержка MCP-шлюза для предоставления моделям доступа к внешним инструментам
Сценарии использования
- Поддержание работы приложения при сбое одного из LLM-провайдеров
- Отслеживание и ограничение расходов на LLM для каждой команды, клиента или API-ключа
- Переключение существующего приложения на базе OpenAI или Anthropic SDK на другие модели изменением базового URL
- Централизация доступа к моделям и подключений к инструментам для coding-агентов и внутренних AI-сервисов
Быстрый старт
- 1
Запустите Bifrost Gateway локально с помощью npx
npx -y @maximhq/bifrost - 2
Или запустите его с помощью Docker
docker run -p 8080:8080 maximhq/bifrost - 3
Откройте встроенный веб-интерфейс для настройки
open http://localhost:8080 - 4
Выполните первый вызов API через шлюз
curl -X POST http://localhost:8080/v1/chat/completions -H "Content-Type: application/json" -d '{"model": "openai/gpt-4o-mini", "messages": [{"role": "user", "content": "Hello, Bifrost!"}]}'
Что важно знать
- Для фактического подключения к вышестоящим LLM-провайдерам нужны их API-ключи.
- Некоторые корпоративные функции, например кластеризация, защитные механизмы и адаптивная балансировка нагрузки, доступны в отдельном корпоративном тарифе.
Темы
Частые вопросы
- Что такое bifrost?
- Открытый AI-шлюз с единым OpenAI-совместимым API для 23+ LLM-провайдеров, резервным переключением, балансировкой нагрузки, семантическим кэшированием и виртуальными ключами. Bifrost — это AI-шлюз между вашим приложением и LLM-провайдерами, такими как OpenAI, Anthropic, AWS Bedrock, Google Vertex и Azure. Приложения отправляют запросы на единый OpenAI-совместимый эндпоинт, а Bifrost направляет их выбранному провайдеру или модели.
- bifrost можно использовать бесплатно? Какая у него лицензия?
- bifrost распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
- bifrost всё ещё поддерживается?
- Активно поддерживается. Последний коммит в bifrost — 19 окт. 2026 г..
- Для чего можно использовать bifrost?
- Поддержание работы приложения при сбое одного из LLM-провайдеров Отслеживание и ограничение расходов на LLM для каждой команды, клиента или API-ключа Переключение существующего приложения на базе OpenAI или Anthropic SDK на другие модели изменением базового URL Централизация доступа к моделям и подключений к инструментам для coding-агентов и внутренних AI-сервисов
- Как установить bifrost?
- Запустите Bifrost Gateway локально с помощью npx: npx -y @maximhq/bifrost Или запустите его с помощью Docker: docker run -p 8080:8080 maximhq/bifrost Откройте встроенный веб-интерфейс для настройки: open http://localhost:8080 Выполните первый вызов API через шлюз: curl -X POST http://localhost:8080/v1/chat/completions -H "Content-Type: application/json" -d '{"model": "openai/gpt-4o-mini", "messages": [{"role": "user", "content": "Hello, Bifrost!"}]}'
- Где скачать bifrost?
- Исходный код и инструкции по установке — на GitHub: https://github.com/maximhq/bifrost
Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.
Похожие проекты
Самостоятельно размещаемый LLM-шлюз, совместимый с OpenAI: единая точка доступа к 40+ провайдерам, виртуальные ключи, бюджеты и учёт использования.
Самостоятельно разворачиваемый AI-шлюз с API, совместимыми с OpenAI, Claude и Gemini, который маршрутизирует запросы к разным провайдерам моделей и отслеживает ключи, квоты и расходы.
Локальный шлюз моделей, который объединяет Claude Code, Codex, OpenCode и другие инструменты для программирования на одной конечной точке и распределяет запросы между провайдерами.
Локальный шлюз и приложение в строке меню, через которые Claude Code, Codex, Gemini CLI и другие агенты для разработки могут использовать любые модели и подписки.
Go-шлюз, предоставляющий модели OpenCode Zen и Zen Go через API Chat Completions, Responses и Anthropic Messages, с пулами ключей и прокси, а также WebUI.