「load-balancing」に関するオープンソースプロジェクト

20以上のLLMプロバイダーに単一のOpenAI互換APIを提供する、フェイルオーバーや負荷分散などに対応したオープンソースAIゲートウェイ。

NGINXとetcdを基盤とする、動的ルーティングとプラグインのホットロードに対応したクラウドネイティブなAPI・AIゲートウェイ。

設定ファイルを手編集せずにnginxの仮想ホスト、ストリーム、SSL証明書、ルーティングを管理できるWeb UI。