mylxsw/llm-gateway

Что это?

Ключевые возможности

• 01Предоставляет endpoints OpenAI Chat, Responses, Embeddings, Audio и Image, а также Anthropic Messages.
• 02Преобразует запросы и потоковые ответы между форматами OpenAI Chat, OpenAI Responses и Anthropic.
• 03Маршрутизирует запросы по принципу round-robin, приоритету, весу или минимальной стоимости, поддерживая сопоставление по правилам.
• 04Повторяет запросы при серверных ошибках и переключается на резервных провайдеров.
• 05Журналирует использование токенов, задержку и полные тела запросов и ответов с редактированием конфиденциальных данных.
• 06Предоставляет веб-панель и интерфейс MCP для управления.

Сценарии использования

• Предоставить нескольким внутренним приложениям одну точку доступа и один API-ключ для работы с разными провайдерами LLM.
• Добавить переключение на резервного провайдера, чтобы сбой одного сервиса не нарушал работу AI-функции.
• Отслеживать использование токенов и стоимость в разрезе API-ключей, моделей или провайдеров.
• Направить существующий код с OpenAI SDK или Anthropic SDK на самостоятельно размещаемые или локальные модели, например Ollama или vLLM.

Быстрый старт

1. 1

   Клонируйте репозиторий

   git clone https://github.com/mylxsw/llm-gateway.git
2. 2

   Перейдите в каталог проекта и задайте ADMIN_USERNAME и ADMIN_PASSWORD перед запуском

   cd llm-gateway
3. 3

   Запустите сервисы с помощью Docker Compose (панель управления: http://localhost:8000)

   docker compose -f docker-compose.prod.yml up -d

Что важно знать

• !Если ADMIN_USERNAME и ADMIN_PASSWORD не заданы, доступ к API администратора по умолчанию открыт, поэтому необходимо настроить учетные данные.
• !Проект размещается самостоятельно. Для использования в production необходимо настроить провайдеров, API-ключи и ключ шифрования.
• !В метаданных лицензия не указана, хотя на значке в README указана MIT.

Темы

Частые вопросы

Что такое llm-gateway?

Самостоятельно размещаемый LLM-шлюз, который проксирует OpenAI, Anthropic и совместимые API, поддерживая маршрутизацию, переключение на резервные сервисы, журналирование запросов и веб-панель. Squirrel — прокси-сервис между вашими приложениями и провайдерами LLM. Приложения обращаются к шлюзу через OpenAI SDK или Anthropic SDK, а он перенаправляет запросы настроенным upstream-провайдерам. Так учетные данные провайдеров, названия моделей и правила маршрутизации управляются в одном месте.

llm-gateway можно использовать бесплатно? Какая у него лицензия?

У llm-gateway не указана лицензия. Код открыт, но без лицензии нет явного разрешения на его использование — уточните у автора, прежде чем на него полагаться.

llm-gateway всё ещё поддерживается?

Активно поддерживается. Последний коммит в llm-gateway — 4 окт. 2026 г..

Для чего можно использовать llm-gateway?

Предоставить нескольким внутренним приложениям одну точку доступа и один API-ключ для работы с разными провайдерами LLM. Добавить переключение на резервного провайдера, чтобы сбой одного сервиса не нарушал работу AI-функции. Отслеживать использование токенов и стоимость в разрезе API-ключей, моделей или провайдеров. Направить существующий код с OpenAI SDK или Anthropic SDK на самостоятельно размещаемые или локальные модели, например Ollama или vLLM.

Как установить llm-gateway?

Клонируйте репозиторий: git clone https://github.com/mylxsw/llm-gateway.git Перейдите в каталог проекта и задайте ADMIN_USERNAME и ADMIN_PASSWORD перед запуском: cd llm-gateway Запустите сервисы с помощью Docker Compose (панель управления: http://localhost:8000): docker compose -f docker-compose.prod.yml up -d

Где скачать llm-gateway?

Исходный код и инструкции по установке — на GitHub: https://github.com/mylxsw/llm-gateway