Repolode
投稿する
ferro-labs

ferro-labs/ai-gateway

30のプロバイダーに対応し、単一のOpenAI互換APIでLLMリクエストをルーティングできる、キャッシュ、ガードレール、コスト管理機能付きのオープンソースGoゲートウェイ。

代替できる製品:LiteLLM

GitHub で見る公式サイト
スター
280
フォーク
40
未解決の Issue
67
最終コミット
5 日前

これは何？

Ferro Labs AI Gatewayは、アプリケーションとOpenAI、Anthropic、AWS BedrockなどのLLMプロバイダーの間に置く、セルフホスト型プロキシです。クライアントは1つのエンドポイントに標準的なOpenAI形式のリクエストを送り、ゲートウェイは設定されたプロバイダーへ転送します。ルーティング方式には、フォールバック、負荷分散、最小レイテンシ、コスト最適化、A/Bテストがあります。

外部サービスを必要とせず、単一の静的Goバイナリとして提供されます。単語フィルタリング、PIIのマスキング、シークレットスキャン、プロンプトインジェクション検出、レスポンスキャッシュ、レート制限、キーごとの予算設定に対応する組み込みプラグインを備えています。また、MCPツールサーバーに接続してツール呼び出しのループを実行できます。OpenTelemetryトレーシングとPrometheusメトリクスは有効化すると利用でき、Webダッシュボードはリリースバイナリに組み込まれています。

設定は単一のYAMLまたはJSONファイルで管理でき、CLIにはinit、validate、doctorコマンドが用意されています。デプロイ先としてDocker、Kubernetes上のHelm、Railway、Renderに対応し、ストレージにはSQLiteまたはPostgreSQLを使用できます。

主な機能

  • 01単一のOpenAI互換APIを通じて、30のLLMプロバイダーにリクエストをルーティングします。
  • 02フォールバック、負荷分散、A/Bテストなど、8種類のルーティング方式を提供します。
  • 03PIIのマスキング、シークレットスキャン、プロンプトインジェクション検出のガードレールを標準搭載しています。
  • 04レスポンスキャッシュ、レート制限、キーごとの予算管理を利用できます。
  • 05stdioおよびStreamable HTTP経由でMCPツールサーバーに接続します。
  • 06有効化するまで無効の状態で、OpenTelemetryトレーシングとPrometheusメトリクスを公開します。

ユースケース

  • 複数のLLMプロバイダーを利用する社内チームに単一のエンドポイントを提供し、プロバイダー間のフェイルオーバーを実現する。
  • 外部のモデルAPIにプロンプトを送る前に、PIIのマスキングやコンテンツフィルターを適用する。
  • アプリケーション横断でトークン使用量を追跡し、キーごとの予算を設定する。
  • 既存のOpenAI SDKクライアントを使いながら、KubernetesやDocker上でセルフホスト型ゲートウェイを運用する。

クイックスタート

  1. 1

    npmでferrogw CLIをインストールします

    npm install -g ferrogw
  2. 2

    上流プロバイダーのAPIキーを設定します（ここではOpenAI）

    export OPENAI_API_KEY=sk-your-key
  3. 3

    ferrogw initを実行してconfig.yamlを書き込み、マスターキーを表示します。キーは一度しか表示されないため、保存してください

    ferrogw init
  4. 4

    READMEの説明に従ってGATEWAY_CONFIGとMASTER_KEYを先に設定し、ポート8080でサーバーを起動します

    ferrogw serve

使う前に知っておきたいこと

  • リクエストをルーティングするには、OPENAI_API_KEYなど、少なくとも1つの上流プロバイダーAPIキーが必要です。

収録されている特集

MCP サーバーOpenTelemetry・オブザーバビリティ基盤

トピック

#llm-gateway#openai-compatible#llm-proxy#guardrails#semantic-cache#mcp#observability#golang#ai-gateway#ai-infrastructure

よくある質問

ai-gateway とは？
30のプロバイダーに対応し、単一のOpenAI互換APIでLLMリクエストをルーティングできる、キャッシュ、ガードレール、コスト管理機能付きのオープンソースGoゲートウェイ。 Ferro Labs AI Gatewayは、アプリケーションとOpenAI、Anthropic、AWS BedrockなどのLLMプロバイダーの間に置く、セルフホスト型プロキシです。クライアントは1つのエンドポイントに標準的なOpenAI形式のリクエストを送り、ゲートウェイは設定されたプロバイダーへ転送します。ルーティング方式には、フォールバック、負荷分散、最小レイテンシ、コスト最適化、A/Bテストがあります。
ai-gateway は無料で使えますか？ライセンスは？
ai-gateway は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
ai-gateway は今もメンテナンスされていますか？
活発にメンテナンス中。ai-gateway の最終コミットは 2026年11月2日 です。
ai-gateway は何に使えますか？
複数のLLMプロバイダーを利用する社内チームに単一のエンドポイントを提供し、プロバイダー間のフェイルオーバーを実現する。 外部のモデルAPIにプロンプトを送る前に、PIIのマスキングやコンテンツフィルターを適用する。 アプリケーション横断でトークン使用量を追跡し、キーごとの予算を設定する。 既存のOpenAI SDKクライアントを使いながら、KubernetesやDocker上でセルフホスト型ゲートウェイを運用する。
ai-gateway のインストール方法は？
npmでferrogw CLIをインストールします: npm install -g ferrogw 上流プロバイダーのAPIキーを設定します（ここではOpenAI）: export OPENAI_API_KEY=sk-your-key ferrogw initを実行してconfig.yamlを書き込み、マスターキーを表示します。キーは一度しか表示されないため、保存してください: ferrogw init READMEの説明に従ってGATEWAY_CONFIGとMASTER_KEYを先に設定し、ポート8080でサーバーを起動します: ferrogw serve
ai-gateway はどこで入手できますか？
ソースコードとインストール手順は GitHub にあります：https://github.com/ferro-labs/ai-gateway

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト