mylxsw/llm-gateway

これは何？

主な機能

• 01OpenAI Chat、Responses、Embeddings、音声・画像エンドポイントとAnthropic Messagesを提供します。
• 02OpenAI Chat、OpenAI Responses、Anthropic形式の間で、リクエストとストリーミングレスポンスを変換します。
• 03ラウンドロビン、優先順位、重み付け、最小コストでルーティングでき、ルールベースのマッチングにも対応します。
• 04サーバーエラー時にリクエストを再試行し、バックアッププロバイダーにフェイルオーバーします。
• 05機密データのマスキングに対応し、トークン使用量、レイテンシ、リクエストとレスポンスの本文全体を記録します。
• 06管理用のWebダッシュボードとMCPインターフェースを提供します。

ユースケース

• 複数の社内アプリケーションに、複数のLLMプロバイダー向けの共通エンドポイントとAPIキーを提供する。
• プロバイダーの障害時にAI機能が使えなくならないよう、フェイルオーバーを導入する。
• APIキー、モデル、プロバイダーごとにトークン使用量とコストを追跡する。
• 既存のOpenAIまたはAnthropic SDKコードの接続先を、OllamaやvLLMなどのセルフホスト型・ローカルモデルに切り替える。

クイックスタート

1. 1

   リポジトリをクローンする

   git clone https://github.com/mylxsw/llm-gateway.git
2. 2

   プロジェクトディレクトリに移動し、起動する前にADMIN_USERNAMEとADMIN_PASSWORDを設定する

   cd llm-gateway
3. 3

   Docker Composeでサービスを起動する（ダッシュボード：http://localhost:8000）

   docker compose -f docker-compose.prod.yml up -d

使う前に知っておきたいこと

• !ADMIN_USERNAMEとADMIN_PASSWORDを設定しない場合、管理APIはデフォルトで公開されるため、認証情報を設定する必要があります。
• !このプロジェクトはセルフホスト型で、本番環境で利用するにはプロバイダー、APIキー、暗号化キーの設定が必要です。
• !メタデータにはライセンスの記載がありませんが、READMEのバッジにはMITと記載されています。

トピック

よくある質問

llm-gateway とは？

OpenAI、Anthropicおよび互換APIをプロキシし、ルーティング、フェイルオーバー、リクエストログ、Webダッシュボードを提供するセルフホスト型LLMゲートウェイ。 Squirrelは、アプリケーションとLLMプロバイダーの間に置くプロキシサービスです。アプリケーションのOpenAIまたはAnthropic SDKの接続先をこのゲートウェイにすると、設定済みの上流プロバイダーへリクエストを転送します。プロバイダーの認証情報、モデル名、ルーティングルールを一元管理できます。

llm-gateway は無料で使えますか？ライセンスは？

llm-gateway にはライセンスが明記されていません。コードは公開されていますが、ライセンスがない場合は再利用の許諾がないため、利用前に作者に確認することをおすすめします。

llm-gateway は今もメンテナンスされていますか？

活発にメンテナンス中。llm-gateway の最終コミットは 2026年10月4日 です。

llm-gateway は何に使えますか？

複数の社内アプリケーションに、複数のLLMプロバイダー向けの共通エンドポイントとAPIキーを提供する。 プロバイダーの障害時にAI機能が使えなくならないよう、フェイルオーバーを導入する。 APIキー、モデル、プロバイダーごとにトークン使用量とコストを追跡する。 既存のOpenAIまたはAnthropic SDKコードの接続先を、OllamaやvLLMなどのセルフホスト型・ローカルモデルに切り替える。

llm-gateway のインストール方法は？

リポジトリをクローンする: git clone https://github.com/mylxsw/llm-gateway.git プロジェクトディレクトリに移動し、起動する前にADMIN_USERNAMEとADMIN_PASSWORDを設定する: cd llm-gateway Docker Composeでサービスを起動する（ダッシュボード：http://localhost:8000）: docker compose -f docker-compose.prod.yml up -d

llm-gateway はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/mylxsw/llm-gateway