Repolode
TokenFlux

TokenFlux/TokenRouter

Открытый единый шлюз LLM, который предоставляет модели Anthropic, OpenAI, Gemini и других поставщиков через один endpoint и API key.

Open source альтернатива:OpenRouter

Звёзды
385
Форки
53
Открытые issues
8
Последний коммит
позавчера

Что это?

TokenRouter — открытый шлюз LLM на Go с фронтендом на Vue 3. Он объединяет сервисы моделей Anthropic, OpenAI, Gemini и других поставщиков за одним endpoint, чтобы клиент мог обращаться к моделям разных провайдеров с одним API key.

Шлюз принимает запросы Anthropic Messages, OpenAI Responses и Chat Completions, а также Gemini и может преобразовывать протоколы, разрешённые для группы. Подключаться к upstream-сервисам можно через OAuth-аккаунты, API keys, AWS Bedrock или Vertex AI. Запросы маршрутизируются с учётом модели, поддержки протокола, состояния лимитов запросов и sticky sessions; при сбое происходит переключение на другой upstream.

В проект также входят управление пользователями, командами и API keys с квотами, ограничениями параллелизма и RPM, оплата по фактическому использованию с подписками и интеграциями платёжных систем, модерация контента по ключевым словам и панель администратора с журналами, статистикой и оповещениями. Проект можно развернуть с помощью Docker Compose.

Ключевые возможности

  • 01Предоставляет форматы запросов Anthropic, OpenAI и Gemini через один endpoint.
  • 02Подключает upstream-сервисы через OAuth-аккаунты, API keys, AWS Bedrock или Vertex AI.
  • 03Маршрутизирует запросы с учётом модели, поддержки протокола, лимитов запросов и sticky sessions; поддерживает переключение на резервный upstream.
  • 04Позволяет управлять пользователями, командами, квотами API keys, параллелизмом и лимитами RPM.
  • 05Поддерживает оплату по фактическому использованию, подписки и платёжные системы, такие как Stripe и Alipay.
  • 06Предоставляет панель администратора с журналами использования, статистикой и интерфейсом на китайском и английском языках.

Сценарии использования

  • Предоставить команде один API key и один endpoint для работы с моделями нескольких поставщиков LLM.
  • Развернуть общий внутренний шлюз LLM с квотами для каждого пользователя и отслеживанием использования.
  • Запустить коммерческий сервис перепродажи API со встроенными расчётами и приёмом платежей.
  • Настроить переключение между несколькими upstream-аккаунтами для одной модели.

Быстрый старт

  1. 1

    Создайте папку для развертывания

    mkdir -p tokenrouter-deploy && cd tokenrouter-deploy
  2. 2

    Запустите официальный скрипт установки из README, чтобы скачать файл Compose и .env, а также сгенерировать секреты

  3. 3

    Запустите сервисы с помощью Docker Compose

    docker compose up -d
  4. 4

    Найдите в логах сгенерированный пароль администратора и откройте http://localhost:8080

    docker compose logs tokenrouter | grep "admin password"

Что важно знать

  • Развертывание выполняется на собственной инфраструктуре и требует настройки Docker и Compose.
  • Вы должны самостоятельно предоставить учетные записи или API-ключи вышестоящих поставщиков.
  • Лицензия LGPL-3.0 предусматривает копилефт, а проект запрещает выдавать себя за официальный сервис TokenFlux.

Темы

Частые вопросы

Что такое TokenRouter?
Открытый единый шлюз LLM, который предоставляет модели Anthropic, OpenAI, Gemini и других поставщиков через один endpoint и API key. TokenRouter — открытый шлюз LLM на Go с фронтендом на Vue 3. Он объединяет сервисы моделей Anthropic, OpenAI, Gemini и других поставщиков за одним endpoint, чтобы клиент мог обращаться к моделям разных провайдеров с одним API key.
TokenRouter можно использовать бесплатно? Какая у него лицензия?
TokenRouter распространяется с открытым исходным кодом под лицензией LGPL-3.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
TokenRouter всё ещё поддерживается?
Активно поддерживается. Последний коммит в TokenRouter — 19 окт. 2026 г..
Для чего можно использовать TokenRouter?
Предоставить команде один API key и один endpoint для работы с моделями нескольких поставщиков LLM. Развернуть общий внутренний шлюз LLM с квотами для каждого пользователя и отслеживанием использования. Запустить коммерческий сервис перепродажи API со встроенными расчётами и приёмом платежей. Настроить переключение между несколькими upstream-аккаунтами для одной модели.
Как установить TokenRouter?
Создайте папку для развертывания: mkdir -p tokenrouter-deploy && cd tokenrouter-deploy Запустите официальный скрипт установки из README, чтобы скачать файл Compose и .env, а также сгенерировать секреты Запустите сервисы с помощью Docker Compose: docker compose up -d Найдите в логах сгенерированный пароль администратора и откройте http://localhost:8080: docker compose logs tokenrouter | grep "admin password"
Где скачать TokenRouter?
Исходный код и инструкции по установке — на GitHub: https://github.com/TokenFlux/TokenRouter

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты

Самостоятельно разворачиваемый AI-шлюз с API, совместимыми с OpenAI, Claude и Gemini, который маршрутизирует запросы к разным провайдерам моделей и отслеживает ключи, квоты и расходы.

50,3 тыс.12,1 тыс.GoAGPL-3.0Обновлён позавчера