Repolode
TokenFlux

TokenFlux/TokenRouter

Anthropic、OpenAI、Geminiなど各社のモデルを、単一のエンドポイントとAPIキーで利用できるオープンソースの統合LLMゲートウェイ。

代替できる製品:OpenRouter

スター
385
フォーク
53
未解決の Issue
8
最終コミット
一昨日

これは何?

TokenRouterはGo製のオープンソースLLMゲートウェイで、フロントエンドにはVue 3を採用しています。Anthropic、OpenAI、Geminiなど各社のモデルサービスを単一のエンドポイントの背後に集約し、クライアントは1つのAPIキーで複数プロバイダーのモデルを呼び出せます。

Anthropic Messages、OpenAI ResponsesとChat Completions、Geminiの各リクエスト形式を受け付け、グループで許可されているプロトコル間で変換できます。上流サービスにはOAuthアカウント、APIキー、AWS Bedrock、Vertex AI経由で接続できます。モデル、プロトコルの対応状況、レート制限の状態、スティッキーセッションに基づいてリクエストをルーティングし、上流サービスに障害が発生した場合は別のサービスにフェイルオーバーします。

ユーザー、チーム、APIキーの管理機能に加え、クォータ、同時実行数、RPMの制限、サブスクリプションや決済連携に対応した従量課金、キーワードベースのコンテンツモデレーション、ログ・統計・アラートを確認できる管理ダッシュボードも備えています。Docker Composeでデプロイできます。

主な機能

  • 01Anthropic、OpenAI、Geminiのリクエスト形式を単一のエンドポイントで利用できます。
  • 02OAuthアカウント、APIキー、AWS Bedrock、Vertex AI経由で上流サービスに接続できます。
  • 03モデル、プロトコルの対応状況、レート制限、スティッキーセッションに基づいてリクエストをルーティングし、フェイルオーバーにも対応します。
  • 04ユーザー、チーム、APIキーのクォータ、同時実行数、RPM制限を管理できます。
  • 05従量課金、サブスクリプション、StripeやAlipayなどの決済プロバイダーに対応しています。
  • 06利用ログや統計を確認できる、中国語・英語対応の管理ダッシュボードを提供します。

ユースケース

  • 複数のLLMプロバイダーのモデルを、チームで1つのAPIキーとエンドポイントから利用する。
  • ユーザーごとのクォータと利用状況を追跡できる、社内共用のLLMゲートウェイを運用する。
  • 課金・決済機能を備えた、商用のAPI再販サービスを運営する。
  • 同じモデルを提供する複数の上流アカウント間でフェイルオーバーを実現する。

クイックスタート

  1. 1

    デプロイ用フォルダーを作成する

    mkdir -p tokenrouter-deploy && cd tokenrouter-deploy
  2. 2

    READMEに記載されている公式インストールスクリプトを実行し、Composeファイルと.envをダウンロードしてシークレットを生成する

  3. 3

    Docker Composeでサービスを起動する

    docker compose up -d
  4. 4

    ログで生成された管理者パスワードを確認し、http://localhost:8080 を開く

    docker compose logs tokenrouter | grep "admin password"

使う前に知っておきたいこと

  • デプロイはセルフホスト型で、DockerとComposeのセットアップが必要です。
  • 上流プロバイダーのアカウントまたはAPIキーは、ご自身で用意する必要があります。
  • LGPL-3.0ライセンスにはコピーレフト条項があり、公式TokenFluxサービスになりすますことは禁止されています。

トピック

よくある質問

TokenRouter とは?
Anthropic、OpenAI、Geminiなど各社のモデルを、単一のエンドポイントとAPIキーで利用できるオープンソースの統合LLMゲートウェイ。 TokenRouterはGo製のオープンソースLLMゲートウェイで、フロントエンドにはVue 3を採用しています。Anthropic、OpenAI、Geminiなど各社のモデルサービスを単一のエンドポイントの背後に集約し、クライアントは1つのAPIキーで複数プロバイダーのモデルを呼び出せます。
TokenRouter は無料で使えますか?ライセンスは?
TokenRouter は LGPL-3.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
TokenRouter は今もメンテナンスされていますか?
活発にメンテナンス中。TokenRouter の最終コミットは 2026年10月19日 です。
TokenRouter は何に使えますか?
複数のLLMプロバイダーのモデルを、チームで1つのAPIキーとエンドポイントから利用する。 ユーザーごとのクォータと利用状況を追跡できる、社内共用のLLMゲートウェイを運用する。 課金・決済機能を備えた、商用のAPI再販サービスを運営する。 同じモデルを提供する複数の上流アカウント間でフェイルオーバーを実現する。
TokenRouter のインストール方法は?
デプロイ用フォルダーを作成する: mkdir -p tokenrouter-deploy && cd tokenrouter-deploy READMEに記載されている公式インストールスクリプトを実行し、Composeファイルと.envをダウンロードしてシークレットを生成する Docker Composeでサービスを起動する: docker compose up -d ログで生成された管理者パスワードを確認し、http://localhost:8080 を開く: docker compose logs tokenrouter | grep "admin password"
TokenRouter はどこで入手できますか?
ソースコードとインストール手順は GitHub にあります:https://github.com/TokenFlux/TokenRouter

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト