Открытый AI Gateway и Python SDK для работы с 100+ LLM-провайдерами через единый интерфейс в формате OpenAI.
labring/aiproxy
AI-шлюз на Go с совместимыми с OpenAI, Claude и Gemini эндпоинтами и маршрутизацией запросов между несколькими каналами моделей.
Open source альтернатива:OpenRouter
- Звёзды
- 564
- Форки
- 117
- Открытые issues
- 17
- Последний коммит
- 10 дней назад
Что это?
AI Proxy — шлюз между вашими приложениями и провайдерами AI-моделей. Клиенты отправляют запросы по протоколам OpenAI Chat Completions, Claude Messages или Gemini, а прокси перенаправляет их в настроенные каналы с приоритетным выбором, повторными попытками при ошибках и балансировкой нагрузки между провайдерами.
Помимо маршрутизации, есть управление несколькими арендаторами: для каждой группы можно задать квоты, ограничения RPM и TPM, собственные цены на модели, а также доступ по токенам с ограничениями по подсетям. В панели управления доступны дашборды, логи запросов, статистика ошибок и анализ расходов; она также отправляет уведомления о низком балансе и аномалиях.
Также доступны плагины для кэширования ответов (в Redis или памяти), веб-поиска через Google, Bing и Arxiv, отделения содержимого рассуждений из тегов <think> и внутренней потоковой передачи для запросов без стриминга, чтобы избежать тайм-аутов. Поддерживаются интеграция с MCP-серверами и преобразование протокола в Responses API.
Ключевые возможности
- 01Принимает запросы по протоколам OpenAI, Claude и Gemini и преобразует их в Responses API для моделей, поддерживающих только Responses API
- 02Выбирает каналы по приоритету, повторяет запросы при ошибках и балансирует нагрузку между провайдерами
- 03Группы для нескольких арендаторов с ограничениями RPM/TPM, квотами и собственными ценами для каждой модели
- 04Панель управления с логами запросов, анализом частоты ошибок и статистикой расходов
- 05Плагины для кэширования, веб-поиска, отделения содержимого рассуждений и потоковой передачи в качестве запасного варианта
Сценарии использования
- Предоставление внутренним приложениям единого эндпоинта в стиле OpenAI для работы с несколькими провайдерами моделей
- Использование моделей других провайдеров в таких инструментах, как Claude Code, Gemini CLI или Codex, через локальный прокси
- Управление доступом к API, квотами и оплатой для нескольких команд или клиентов через единый шлюз
Быстрый старт
- 1
Запустите AI Proxy с помощью Docker (конфигурация по умолчанию)
docker run -d \ --name aiproxy \ -p 3000:3000 \ -v $(pwd)/aiproxy:/aiproxy \ -e ADMIN_KEY=your-admin-key \ ghcr.io/labring/aiproxy:latest - 2
Откройте панель управления и обозреватель API на localhost:3000 (Swagger доступен по адресу /swagger/index.html)
Что важно знать
- Для сборки из исходного кода требуется Go 1.24 или новее, а для необязательного фронтенда — Node.js 22 или новее.
- Настройка зависит от множества переменных окружения, поэтому первоначальная настройка потребует некоторых усилий.
Темы
Частые вопросы
- Что такое aiproxy?
- AI-шлюз на Go с совместимыми с OpenAI, Claude и Gemini эндпоинтами и маршрутизацией запросов между несколькими каналами моделей. AI Proxy — шлюз между вашими приложениями и провайдерами AI-моделей. Клиенты отправляют запросы по протоколам OpenAI Chat Completions, Claude Messages или Gemini, а прокси перенаправляет их в настроенные каналы с приоритетным выбором, повторными попытками при ошибках и балансировкой нагрузки между провайдерами.
- aiproxy можно использовать бесплатно? Какая у него лицензия?
- aiproxy распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.
- aiproxy всё ещё поддерживается?
- Активно поддерживается. Последний коммит в aiproxy — 12 окт. 2026 г..
- Для чего можно использовать aiproxy?
- Предоставление внутренним приложениям единого эндпоинта в стиле OpenAI для работы с несколькими провайдерами моделей Использование моделей других провайдеров в таких инструментах, как Claude Code, Gemini CLI или Codex, через локальный прокси Управление доступом к API, квотами и оплатой для нескольких команд или клиентов через единый шлюз
- Как установить aiproxy?
- Запустите AI Proxy с помощью Docker (конфигурация по умолчанию): docker run -d \ --name aiproxy \ -p 3000:3000 \ -v $(pwd)/aiproxy:/aiproxy \ -e ADMIN_KEY=your-admin-key \ ghcr.io/labring/aiproxy:latest Откройте панель управления и обозреватель API на localhost:3000 (Swagger доступен по адресу /swagger/index.html)
- Где скачать aiproxy?
- Исходный код и инструкции по установке — на GitHub: https://github.com/labring/aiproxy
Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.
Похожие проекты
Открытый AI-шлюз с единым OpenAI-совместимым API для 23+ LLM-провайдеров, резервным переключением, балансировкой нагрузки, семантическим кэшированием и виртуальными ключами.
Открытый AI-шлюз, через который любые OpenAI- и Anthropic-SDK могут обращаться к более чем 100 LLM-провайдерам без изменений кода, с переключением при сбоях, балансировкой нагрузки и учётом затрат.
Самостоятельно размещаемый AI-шлюз под лицензией MIT: единый OpenAI-совместимый endpoint для сотен провайдеров моделей, с автоматическим переключением с учётом квот и сжатием токенов.
Самостоятельно разворачиваемый AI-шлюз с API, совместимыми с OpenAI, Claude и Gemini, который маршрутизирует запросы к разным провайдерам моделей и отслеживает ключи, квоты и расходы.
Open source control plane на базе Envoy предоставляет приложениям единый OpenAI-совместимый API для hosted LLM-провайдеров, self-hosted inference и MCP-серверов.