Repolode
maximhq

maximhq/bifrost

23以上のLLMプロバイダーに単一のOpenAI互換APIを提供し、フェイルオーバーや負荷分散などに対応するオープンソースAIゲートウェイ。

スター
8,932
フォーク
1,424
未解決の Issue
1,248
最終コミット
21 時間前

これは何?

Bifrostは、アプリケーションとOpenAI、Anthropic、AWS Bedrock、Google Vertex、AzureなどのLLMプロバイダーとの間に位置するAIゲートウェイです。アプリケーションは単一のOpenAI互換エンドポイントにリクエストを送信し、Bifrostが設定されたプロバイダーやモデルへ振り分けます。

アプリケーションコードで個別に対処されがちな信頼性とコストの課題にも対応します。プロバイダーやモデル間の自動フォールバック、複数のAPIキーを使った負荷分散、類似したレスポンスのセマンティックキャッシュを利用できます。ガバナンス機能として、仮想キー、レート制限、チームや顧客ごとの階層型予算に加え、Prometheusメトリクスとリクエストログも備えています。

Bifrostは、npxまたはDockerで実行でき、設定と監視用のWeb UIも組み込まれています。Go SDKとしてアプリケーションに組み込むことも、既存のOpenAI、Anthropic、GenAI SDKのベースURLを変更してドロップイン置換として使うこともできます。また、外部ツールをモデルに公開するMCPゲートウェイとしても機能します。

主な機能

  • 01多くのLLMプロバイダーとモデルに対応する単一のOpenAI互換API
  • 02プロバイダーやAPIキー間の自動フォールバックと負荷分散
  • 03類似したレスポンスをセマンティックキャッシュしてコストとレイテンシを削減
  • 04ガバナンス向けの仮想キー、レート制限、階層型予算
  • 05Prometheusメトリクス、分散トレーシング、リクエストログ
  • 06モデルから外部ツールを利用できるMCPゲートウェイ対応

ユースケース

  • LLMプロバイダーの障害時にもアプリケーションの稼働を維持する
  • チーム、顧客、APIキーごとにLLMの利用額を追跡し、上限を設定する
  • 既存のOpenAIまたはAnthropic SDKを使うアプリのベースURLを変更し、別のモデルに切り替える
  • コーディングエージェントや社内AIサービス向けに、モデルへのアクセスとツール接続を一元管理する

クイックスタート

  1. 1

    npxでBifrost Gatewayをローカル起動する

    npx -y @maximhq/bifrost
  2. 2

    またはDockerで実行する

    docker run -p 8080:8080 maximhq/bifrost
  3. 3

    組み込みのWebインターフェースを開いて設定する

    open http://localhost:8080
  4. 4

    ゲートウェイ経由で最初のAPI呼び出しを行う

    curl -X POST http://localhost:8080/v1/chat/completions -H "Content-Type: application/json" -d '{"model": "openai/gpt-4o-mini", "messages": [{"role": "user", "content": "Hello, Bifrost!"}]}'

使う前に知っておきたいこと

  • 上流のLLMプロバイダーに実際に接続するには、プロバイダーのAPIキーが必要です。
  • クラスタリング、ガードレール、適応型ロードバランシングなどの一部のエンタープライズ機能は、別途エンタープライズプランで提供されています。

トピック

よくある質問

bifrost とは?
23以上のLLMプロバイダーに単一のOpenAI互換APIを提供し、フェイルオーバーや負荷分散などに対応するオープンソースAIゲートウェイ。 Bifrostは、アプリケーションとOpenAI、Anthropic、AWS Bedrock、Google Vertex、AzureなどのLLMプロバイダーとの間に位置するAIゲートウェイです。アプリケーションは単一のOpenAI互換エンドポイントにリクエストを送信し、Bifrostが設定されたプロバイダーやモデルへ振り分けます。
bifrost は無料で使えますか?ライセンスは?
bifrost は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
bifrost は今もメンテナンスされていますか?
活発にメンテナンス中。bifrost の最終コミットは 2026年10月19日 です。
bifrost は何に使えますか?
LLMプロバイダーの障害時にもアプリケーションの稼働を維持する チーム、顧客、APIキーごとにLLMの利用額を追跡し、上限を設定する 既存のOpenAIまたはAnthropic SDKを使うアプリのベースURLを変更し、別のモデルに切り替える コーディングエージェントや社内AIサービス向けに、モデルへのアクセスとツール接続を一元管理する
bifrost のインストール方法は?
npxでBifrost Gatewayをローカル起動する: npx -y @maximhq/bifrost またはDockerで実行する: docker run -p 8080:8080 maximhq/bifrost 組み込みのWebインターフェースを開いて設定する: open http://localhost:8080 ゲートウェイ経由で最初のAPI呼び出しを行う: curl -X POST http://localhost:8080/v1/chat/completions -H "Content-Type: application/json" -d '{"model": "openai/gpt-4o-mini", "messages": [{"role": "user", "content": "Hello, Bifrost!"}]}'
bifrost はどこで入手できますか?
ソースコードとインストール手順は GitHub にあります:https://github.com/maximhq/bifrost

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト