respanai/respan-gateway

これは何？

主な機能

• 01OpenAI Chat、OpenAI Responses、Anthropic Messages、Gemini APIのリクエストを受け付け、プロバイダー間で形式を変換します。
• 02複数のベンダーにまたがるリアルタイム音声、画像、音声生成、文字起こし、埋め込み、動画に対応します。
• 03MCPサーバーと組み込みのツールベンダーを接続し、チャットリクエスト内で任意のモデルから呼び出せるようにします。
• 04名前付きルート、フォールバック、リトライ、最安または最速のプロバイダー選択、ヘッジリクエストを利用できます。
• 05すべての呼び出しについてコスト、レイテンシ、トークン数を記録し、トレースをRespanに送信できます。
• 06スタンドアロンサーバー、プロセス内で使うPythonライブラリ、または組み込み可能なRustコンポーネントとして実行できます。

ユースケース

• SDKのコードを変更せずに、既存アプリの接続先を別のLLMベンダーに切り替える。
• フォールバックとリトライを追加し、モデルプロバイダーの遅延や障害でリクエストが失敗しないようにする。
• MCPを通じて、すべてのモデルからWeb検索、ブラウジング、コード実行ツールを利用できるようにする。
• 1つのリクエストログで、複数のAIプロバイダーのコストとレイテンシを追跡する。

クイックスタート

1. 1

   pipでゲートウェイをインストールします

   pip install respan-gateway
2. 2

   ベンダーのAPIキーを設定して、ゲートウェイを起動します

   export OPENAI_API_KEY=sk-... respan-gateway
3. 3

   SDKの接続先をhttp://localhost:8080に設定し、任意のモデルを呼び出します

使う前に知っておきたいこと

• !READMEに記載されたパフォーマンス数値はプロジェクト独自のベンチマークであり、第三者による検証は行われていません。
• !ループバック以外のアドレスでサービスを提供するにはクライアントキーが必要なため、公開環境へのデプロイには設定ファイルが必要です。
• !プロジェクトはまだ新しく、スター数は199件のため、エコシステムやコミュニティのサポートは限られています。

収録されている特集

トピック

よくある質問

respan-gateway とは？

複数のLLMベンダーに1つのエンドポイントで接続できるRust製バイナリ。MCPツール、トラフィック制御、リクエストログにも対応します。 Respan Gatewayは、コードとAI APIの間に位置します。既存のOpenAI、Anthropic、Gemini SDKの接続先をRespan Gatewayに向けるだけで、設定済みの任意のチャットモデルにリクエストをルーティングできます。ストリーミング、ツール、画像、推論を含むリクエスト形式の変換にも対応します。

respan-gateway は無料で使えますか？ライセンスは？

respan-gateway は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

respan-gateway は今もメンテナンスされていますか？

活発にメンテナンス中。respan-gateway の最終コミットは 2026年11月6日 です。

respan-gateway は何に使えますか？

SDKのコードを変更せずに、既存アプリの接続先を別のLLMベンダーに切り替える。 フォールバックとリトライを追加し、モデルプロバイダーの遅延や障害でリクエストが失敗しないようにする。 MCPを通じて、すべてのモデルからWeb検索、ブラウジング、コード実行ツールを利用できるようにする。 1つのリクエストログで、複数のAIプロバイダーのコストとレイテンシを追跡する。

respan-gateway のインストール方法は？

pipでゲートウェイをインストールします: pip install respan-gateway ベンダーのAPIキーを設定して、ゲートウェイを起動します: export OPENAI_API_KEY=sk-... respan-gateway SDKの接続先をhttp://localhost:8080に設定し、任意のモデルを呼び出します

respan-gateway はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/respanai/respan-gateway