Repolode
cheaper-inference

cheaper-inference/OmniRoute

Самостоятельно размещаемый AI-шлюз под лицензией MIT: единый OpenAI-совместимый endpoint для сотен провайдеров моделей, с автоматическим переключением с учётом квот и сжатием токенов.

Open source альтернатива:OpenRouter

Звёзды
85,398
Форки
12,901
Открытые issues
540
Последний коммит
5 часов назад

Что это?

OmniRoute — самостоятельно размещаемый AI-шлюз между инструментами для написания кода и провайдерами моделей. Инструменты вроде Claude Code, Codex, Cursor, Cline и GitHub Copilot отправляют запросы на единый локальный endpoint по адресу localhost:20128/v1, а OmniRoute перенаправляет их выбранному провайдеру. Поддерживается широкий список провайдеров и моделей, включая Claude, GPT, Gemini, Kimi, GLM, DeepSeek и MiniMax.

Если у провайдера срабатывает ограничение частоты запросов, заканчивается квота или возникает ошибка, OmniRoute может перенаправить запрос к следующему подходящему варианту. Маршрутизация настраивается через комбо с 20 стратегиями, а также автоматический режим, который в реальном времени оценивает подключённых провайдеров. Встроенные автоматические выключатели, периоды ожидания для отдельных подключений и блокировки отдельных моделей изолируют сбои. Дополнительные средства сжатия RTK и Caveman сокращают объём вывода инструментов и промптов перед отправкой запросов.

В проект также входят дашборд, MCP-сервер, поддержка A2A, а также сборки для компьютеров и PWA. Пользователи подключают собственные аккаунты у провайдеров или API-ключи; доступность бесплатных тарифов зависит от условий каждого провайдера.

Ключевые возможности

  • 01Единый OpenAI-совместимый endpoint для множества провайдеров моделей
  • 02Автоматическое переключение между провайдерами при исчерпании квоты, достижении лимита запросов или ошибках
  • 0320 стратегий маршрутизации для настройки каждого комбо и автоматический режим
  • 04Дополнительное сжатие с помощью RTK и Caveman для снижения расхода токенов
  • 05Встроенный MCP-сервер и поддержка протокола A2A
  • 06Веб-дашборд, приложение для компьютеров и PWA

Сценарии использования

  • Подключение Claude Code, Cursor или Cline к единому локальному endpoint с возможностью переключаться между провайдерами
  • Продолжение сессии написания кода, когда у одного из провайдеров срабатывает ограничение частоты запросов
  • Совместное использование набора ключей провайдеров небольшой командой с ограничениями на расход
  • Сравнение моделей или маршрутизация запросов между несколькими моделями через единый API

Быстрый старт

  1. 1

    Установите OmniRoute из npm-пакета с названием omniroute или используйте образ Docker Hub, как описано в README

Что важно знать

  • Вы должны самостоятельно предоставить аккаунты и учетные данные провайдеров; каждый провайдер устанавливает собственные ограничения бесплатного тарифа и условия.
  • Указанные крупным планом значения количества токенов — это оценки на основе бесплатных тарифов сторонних сервисов, которые могут измениться или стать недоступными в любой момент.

В подборках

Темы

Частые вопросы

Что такое OmniRoute?
Самостоятельно размещаемый AI-шлюз под лицензией MIT: единый OpenAI-совместимый endpoint для сотен провайдеров моделей, с автоматическим переключением с учётом квот и сжатием токенов. OmniRoute — самостоятельно размещаемый AI-шлюз между инструментами для написания кода и провайдерами моделей. Инструменты вроде Claude Code, Codex, Cursor, Cline и GitHub Copilot отправляют запросы на единый локальный endpoint по адресу localhost:20128/v1, а OmniRoute перенаправляет их выбранному провайдеру. Поддерживается широкий список провайдеров и моделей, включая Claude, GPT, Gemini, Kimi, GLM, DeepSeek и MiniMax.
OmniRoute можно использовать бесплатно? Какая у него лицензия?
OmniRoute распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.
OmniRoute всё ещё поддерживается?
Активно поддерживается. Последний коммит в OmniRoute — 7 нояб. 2026 г..
Для чего можно использовать OmniRoute?
Подключение Claude Code, Cursor или Cline к единому локальному endpoint с возможностью переключаться между провайдерами Продолжение сессии написания кода, когда у одного из провайдеров срабатывает ограничение частоты запросов Совместное использование набора ключей провайдеров небольшой командой с ограничениями на расход Сравнение моделей или маршрутизация запросов между несколькими моделями через единый API
Как установить OmniRoute?
Установите OmniRoute из npm-пакета с названием omniroute или используйте образ Docker Hub, как описано в README
Где скачать OmniRoute?
Исходный код и инструкции по установке — на GitHub: https://github.com/cheaper-inference/OmniRoute

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты

Единый бинарный файл на Rust, который предоставляет любому AI SDK одну точку доступа к разным LLM-провайдерам, а также инструменты MCP, управление трафиком и журналирование запросов.

598+170 за неделю94RustApache-2.0Активно поддерживаетсяОбновлён вчера

Самостоятельно размещаемый LLM API-шлюз для личного использования: объединяет каналы нескольких провайдеров за одной конечной точкой, поддерживает переключение при сбоях и учёт расходов.

2,7 тыс.+9 за неделю450TypeScriptAGPL-3.0Активно поддерживаетсяОбновлён 16 дней назад

Открытая среда выполнения обнаруживает и учитывает работающих на компьютере разработчика кодинг-агентов, маршрутизирует их запросы и отслеживает расходы по каждому агенту.

11,9 тыс.+588 за неделю3,3 тыс.RustOtherОбновлён 16 дней назад

Открытый AI-шлюз с единым OpenAI-совместимым API для 23+ LLM-провайдеров, резервным переключением, балансировкой нагрузки, семантическим кэшированием и виртуальными ключами.

9,4 тыс.+173 за неделю1,5 тыс.GoApache-2.0Обновлён 12 часов назад

Open-source Go-шлюз, который маршрутизирует запросы к LLM через 30 провайдеров по единому API, совместимому с OpenAI, и поддерживает кэширование, защитные механизмы и контроль затрат.

280+6 за неделю40GoApache-2.0Активно поддерживаетсяОбновлён 5 дней назад