theopenco/llmgateway

Что это?

Ключевые возможности

• 01Предоставляет совместимый с OpenAI API для маршрутизации запросов к нескольким провайдерам
• 02Централизованное управление API-ключами разных провайдеров
• 03Отслеживает расход токенов, стоимость и время ответа для каждого запроса
• 04Сравнивает производительность и стоимость разных моделей
• 05Можно развернуть самостоятельно с Docker или использовать как облачный сервис

Сценарии использования

• Перевод существующего приложения на базе OpenAI на других провайдеров с минимальными изменениями кода
• Отслеживание расходов на LLM и использования токенов в команде или нескольких проектах
• Сравнение стоимости и задержки моделей перед выбором модели по умолчанию
• Развёртывание собственного LLM-шлюза, который позволяет контролировать данные запросов

Быстрый старт

1. 1

   Установите зависимости и настройте среду разработки (требуется Docker).

   pnpm i && pnpm run setup
2. 2

   Запустите серверы разработки.

   pnpm dev

Что важно знать

• !Основной код распространяется по лицензии AGPLv3 — лицензии с авторским левом, которая накладывает обязательства на сетевые сервисы.
• !Для использования коммерческих функций в каталоге ee/ требуется платная лицензия Enterprise.
• !Настройка среды разработки зависит от сервисов Docker для базы данных и связанных компонентов.

В подборках

Темы

Частые вопросы

Что такое llmgateway?

API-шлюз с открытым исходным кодом, который направляет запросы к LLM через совместимый с OpenAI интерфейс, поддерживает управление ключами и аналитику использования. LLM Gateway располагается между вашими приложениями и провайдерами больших языковых моделей, такими как OpenAI, Anthropic и Google Vertex AI. Приложения отправляют запросы на одну конечную точку, а шлюз перенаправляет их выбранному провайдеру — отдельная интеграция для каждого сервиса не нужна.

llmgateway можно использовать бесплатно? Какая у него лицензия?

llmgateway распространяется с открытым исходным кодом под лицензией Other. Перед использованием в коммерческих продуктах проверьте условия лицензии.

llmgateway всё ещё поддерживается?

Активно поддерживается. Последний коммит в llmgateway — 6 нояб. 2026 г..

Для чего можно использовать llmgateway?

Перевод существующего приложения на базе OpenAI на других провайдеров с минимальными изменениями кода Отслеживание расходов на LLM и использования токенов в команде или нескольких проектах Сравнение стоимости и задержки моделей перед выбором модели по умолчанию Развёртывание собственного LLM-шлюза, который позволяет контролировать данные запросов

Как установить llmgateway?

Установите зависимости и настройте среду разработки (требуется Docker).: pnpm i && pnpm run setup Запустите серверы разработки.: pnpm dev

Где скачать llmgateway?

Исходный код и инструкции по установке — на GitHub: https://github.com/theopenco/llmgateway