mozilla-ai/otari

これは何？

主な機能

• 0140以上のプロバイダーに対応する、OpenAIおよびAnthropic互換のエンドポイントを提供します。
• 02ユーザー、ワークスペース、モデルごとにスコープを設定できる、取り消し可能な仮想APIキーを発行します。
• 03リクエスト送信前に予算を適用し、送信後に利用状況を記録します。
• 04フェイルオーバー、重み付け、学習ベースのルーティングポリシーに対応します。
• 05プロバイダー、キー、予算、利用状況を管理するWebダッシュボードを提供します。
• 06Docker Composeを使い、SQLiteまたはPostgreSQLとともに単独で実行できます。

ユースケース

• プロバイダーのキーを共有せずに、複数のLLMプロバイダーを利用できるチーム向けの単一の内部エンドポイントを用意する。
• ユーザー単位またはプロジェクト単位でLLMの支出に上限を設け、利用状況を追跡する。
• あるプロバイダーが停止した際にもリクエストを成功させるため、モデル間のフェイルオーバーを追加する。
• base URLだけを変更して、OpenAIクライアントを使うアプリケーションの接続先を他のプロバイダーに切り替える。

トピック

よくある質問

otari とは？

40以上のプロバイダーを1つのエンドポイントで利用できる、仮想キー・予算管理・利用状況追跡対応のセルフホスト型OpenAI互換LLMゲートウェイ。 Otariは、アプリケーションとモデルプロバイダーの間に位置します。リクエストを認証し、プロバイダーの認証情報を解決して、リクエストを送信する前に予算を確認し、各呼び出しの後に利用状況を記録します。プロバイダーへの呼び出しにはany-llmライブラリを使用するため、ゲートウェイが上流プロバイダーとの連携を担い、クライアントコードはOpenAIやAnthropic形式のAPIをそのまま使えます。

otari は無料で使えますか？ライセンスは？

otari は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

otari は今もメンテナンスされていますか？

活発にメンテナンス中。otari の最終コミットは 2026年10月19日 です。

otari は何に使えますか？

プロバイダーのキーを共有せずに、複数のLLMプロバイダーを利用できるチーム向けの単一の内部エンドポイントを用意する。 ユーザー単位またはプロジェクト単位でLLMの支出に上限を設け、利用状況を追跡する。 あるプロバイダーが停止した際にもリクエストを成功させるため、モデル間のフェイルオーバーを追加する。 base URLだけを変更して、OpenAIクライアントを使うアプリケーションの接続先を他のプロバイダーに切り替える。

otari はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/mozilla-ai/otari