Repolode
mnfst

mnfst/llm-gateway

AIエージェントやアプリからのリクエストを、OpenAI互換の単一エンドポイント経由で複数のモデルプロバイダーに振り分けるオープンソースLLMゲートウェイ。

代替できる製品:OpenRouter

スター
7,595
フォーク
522
未解決の Issue
54
最終コミット
昨日

これは何?

Manifest LLM Gatewayは、AIエージェントやアプリと、それらが呼び出すモデルプロバイダーの間に位置します。APIキー、サブスクリプション、ローカルモデル、またはOpenAI/Anthropic互換のカスタムエンドポイントを接続すると、すべてのリクエストがOpenAI互換の単一エンドポイントを経由します。"model": "auto"を指定すると、Manifestがクエリごとにモデルを選択するため、アプリケーションを単一のプロバイダーに固定せずに済みます。

ゲートウェイはリクエストとエラーの本文全体を記録し、リクエストごとの利用料金を追跡できるほか、コスト通知と上限設定にも対応しています。クエリに失敗した場合は、別のモデルにフォールバックできます。プロバイダーとして、OpenAI、Anthropic、Google、DeepSeekなどのホステッドAPIに加え、Ollama、LM Studio、llama.cppなどのローカルランタイムを含む、35種類の組み込み接続が用意されています。

Dockerイメージとして提供されており、Railway、Render、AWS、GCP、DigitalOcean、Fly.ioなどのプラットフォームにデプロイできます。リクエストの記録は、プラットフォームに応じてPostgreSQLと、S3互換ストレージまたは永続ディスクに保存されます。

主な機能

  • 01APIキー、サブスクリプション、ローカルモデル、カスタムプロバイダーに対応したOpenAI互換の単一エンドポイント
  • 02"model": "auto"によるモデルの自動選択
  • 03リクエストとエラーの本文全体を記録
  • 04リクエストごとの料金追跡と、利用額の通知・上限設定
  • 05リクエスト失敗時に別のモデルへフォールバック

ユースケース

  • アプリケーションのコードを変更せずに、複数のプロバイダー間でAIエージェントのリクエストを振り分ける
  • チームやプロジェクト全体のLLM利用額を追跡し、上限を設ける
  • クラウドAPIとローカルのOllamaまたはllama.cppモデルを組み合わせた、セルフホスト型ゲートウェイを運用する
  • 記録されたリクエストとエラーの本文を確認して、エージェントのリクエストをデバッグする

トピック

よくある質問

llm-gateway とは?
AIエージェントやアプリからのリクエストを、OpenAI互換の単一エンドポイント経由で複数のモデルプロバイダーに振り分けるオープンソースLLMゲートウェイ。 Manifest LLM Gatewayは、AIエージェントやアプリと、それらが呼び出すモデルプロバイダーの間に位置します。APIキー、サブスクリプション、ローカルモデル、またはOpenAI/Anthropic互換のカスタムエンドポイントを接続すると、すべてのリクエストがOpenAI互換の単一エンドポイントを経由します。"model": "auto"を指定すると、Manifestがクエリごとにモデルを選択するため、アプリケーションを単一のプロバイダーに固定せずに済みます。
llm-gateway は無料で使えますか?ライセンスは?
llm-gateway は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
llm-gateway は今もメンテナンスされていますか?
活発にメンテナンス中。llm-gateway の最終コミットは 2026年10月21日 です。
llm-gateway は何に使えますか?
アプリケーションのコードを変更せずに、複数のプロバイダー間でAIエージェントのリクエストを振り分ける チームやプロジェクト全体のLLM利用額を追跡し、上限を設ける クラウドAPIとローカルのOllamaまたはllama.cppモデルを組み合わせた、セルフホスト型ゲートウェイを運用する 記録されたリクエストとエラーの本文を確認して、エージェントのリクエストをデバッグする
llm-gateway はどこで入手できますか?
ソースコードとインストール手順は GitHub にあります:https://github.com/mnfst/llm-gateway

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト