自律型エージェント向けのLLMルーター。リクエストごとに対応可能な最安モデルをローカルで選び、USDCウォレットまたはクレジットカード対応APIキーで支払います。
mnfst/llm-gateway
AIエージェントやアプリからのリクエストを、OpenAI互換の単一エンドポイント経由で複数のモデルプロバイダーに振り分けるオープンソースLLMゲートウェイ。
代替できる製品:OpenRouter
- スター
- 7,595
- フォーク
- 522
- 未解決の Issue
- 54
- 最終コミット
- 昨日
これは何?
Manifest LLM Gatewayは、AIエージェントやアプリと、それらが呼び出すモデルプロバイダーの間に位置します。APIキー、サブスクリプション、ローカルモデル、またはOpenAI/Anthropic互換のカスタムエンドポイントを接続すると、すべてのリクエストがOpenAI互換の単一エンドポイントを経由します。"model": "auto"を指定すると、Manifestがクエリごとにモデルを選択するため、アプリケーションを単一のプロバイダーに固定せずに済みます。
ゲートウェイはリクエストとエラーの本文全体を記録し、リクエストごとの利用料金を追跡できるほか、コスト通知と上限設定にも対応しています。クエリに失敗した場合は、別のモデルにフォールバックできます。プロバイダーとして、OpenAI、Anthropic、Google、DeepSeekなどのホステッドAPIに加え、Ollama、LM Studio、llama.cppなどのローカルランタイムを含む、35種類の組み込み接続が用意されています。
Dockerイメージとして提供されており、Railway、Render、AWS、GCP、DigitalOcean、Fly.ioなどのプラットフォームにデプロイできます。リクエストの記録は、プラットフォームに応じてPostgreSQLと、S3互換ストレージまたは永続ディスクに保存されます。
主な機能
- 01APIキー、サブスクリプション、ローカルモデル、カスタムプロバイダーに対応したOpenAI互換の単一エンドポイント
- 02"model": "auto"によるモデルの自動選択
- 03リクエストとエラーの本文全体を記録
- 04リクエストごとの料金追跡と、利用額の通知・上限設定
- 05リクエスト失敗時に別のモデルへフォールバック
ユースケース
- アプリケーションのコードを変更せずに、複数のプロバイダー間でAIエージェントのリクエストを振り分ける
- チームやプロジェクト全体のLLM利用額を追跡し、上限を設ける
- クラウドAPIとローカルのOllamaまたはllama.cppモデルを組み合わせた、セルフホスト型ゲートウェイを運用する
- 記録されたリクエストとエラーの本文を確認して、エージェントのリクエストをデバッグする
トピック
よくある質問
- llm-gateway とは?
- AIエージェントやアプリからのリクエストを、OpenAI互換の単一エンドポイント経由で複数のモデルプロバイダーに振り分けるオープンソースLLMゲートウェイ。 Manifest LLM Gatewayは、AIエージェントやアプリと、それらが呼び出すモデルプロバイダーの間に位置します。APIキー、サブスクリプション、ローカルモデル、またはOpenAI/Anthropic互換のカスタムエンドポイントを接続すると、すべてのリクエストがOpenAI互換の単一エンドポイントを経由します。"model": "auto"を指定すると、Manifestがクエリごとにモデルを選択するため、アプリケーションを単一のプロバイダーに固定せずに済みます。
- llm-gateway は無料で使えますか?ライセンスは?
- llm-gateway は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
- llm-gateway は今もメンテナンスされていますか?
- 活発にメンテナンス中。llm-gateway の最終コミットは 2026年10月21日 です。
- llm-gateway は何に使えますか?
- アプリケーションのコードを変更せずに、複数のプロバイダー間でAIエージェントのリクエストを振り分ける チームやプロジェクト全体のLLM利用額を追跡し、上限を設ける クラウドAPIとローカルのOllamaまたはllama.cppモデルを組み合わせた、セルフホスト型ゲートウェイを運用する 記録されたリクエストとエラーの本文を確認して、エージェントのリクエストをデバッグする
- llm-gateway はどこで入手できますか?
- ソースコードとインストール手順は GitHub にあります:https://github.com/mnfst/llm-gateway
概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。
関連プロジェクト
OpenAI互換プロキシとして動作する、セルフホスト型のソース公開LLMルーター。簡単なプロンプトは安価なモデルやローカルモデルへ、複雑なものは高性能モデルへ振り分けます。
40以上のプロバイダーを1つのエンドポイントで利用できる、仮想キー・予算管理・利用状況追跡対応のセルフホスト型OpenAI互換LLMゲートウェイ。
セルフホスト型の個人向けAIエージェント。各エージェントはLinuxデスクトップコンテナ内で動作し、任意のモデル、暗号化Vault、Telegramによる操作に対応します。
100以上のLLMプロバイダーを、OpenAI形式の単一インターフェースで呼び出せるオープンソースのAI GatewayとPython SDK。
OpenAI、Claude、Gemini互換APIを提供するセルフホスト型AIゲートウェイ。複数の上流モデルプロバイダーをルーティングし、APIキー、クォータ、コストを管理できます。