LLM-роутер для автономных агентов: локально выбирает самую дешёвую подходящую модель для каждого запроса с оплатой в USDC через криптокошелёк или по API-ключу с привязанной картой.
6,6 тыс.650TypeScriptMITОбновлён вчера
mnfst/llm-gateway
Открытый LLM-шлюз, который направляет запросы AI-агентов и приложений к разным провайдерам моделей через единый OpenAI-совместимый endpoint.
Open source альтернатива:OpenRouter
- Звёзды
- 7,595
- Форки
- 522
- Открытые issues
- 54
- Последний коммит
- вчера
Что это?
Manifest LLM Gateway находится между вашими AI-агентами или приложениями и провайдерами моделей, к которым они обращаются. Вы подключаете API-ключи, подписки, локальные модели или собственные endpoint'ы, совместимые с OpenAI/Anthropic, а все запросы проходят через единый OpenAI-совместимый endpoint. Если указать "model": "auto", Manifest будет выбирать модель для каждого запроса, так что приложение не окажется привязано к одному провайдеру.
Шлюз записывает полные тела запросов и ошибок, отслеживает расходы по каждому запросу и поддерживает уведомления о расходах и лимиты. Если запрос завершается ошибкой, он может переключиться на другую модель. В списке провайдеров указаны 35 встроенных интеграций: хостинговые API, включая OpenAI, Anthropic, Google и DeepSeek, а также локальные среды запуска — Ollama, LM Studio и llama.cpp.
Шлюз поставляется в виде Docker-образа и разворачивается на Railway, Render, AWS, GCP, DigitalOcean, Fly.io и других платформах. Записи запросов хранятся в PostgreSQL и в S3-совместимом хранилище либо на постоянном диске — в зависимости от платформы.
Ключевые возможности
- 01Единый OpenAI-совместимый endpoint для API-ключей, подписок, локальных моделей и собственных провайдеров
- 02Автоматический выбор модели с помощью "model": "auto"
- 03Запись полных тел запросов и ошибок
- 04Отслеживание расходов по каждому запросу, уведомления о расходах и лимиты
- 05Переключение на другие модели при сбое запроса
Сценарии использования
- Маршрутизация запросов AI-агента через несколько провайдеров без изменения кода приложения
- Отслеживание и ограничение расходов на LLM для команды или проекта
- Запуск собственного шлюза, объединяющего облачные API с локальными моделями Ollama или llama.cpp
- Отладка запросов агента по записанным телам запросов и ошибок
Темы
Частые вопросы
- Что такое llm-gateway?
- Открытый LLM-шлюз, который направляет запросы AI-агентов и приложений к разным провайдерам моделей через единый OpenAI-совместимый endpoint. Manifest LLM Gateway находится между вашими AI-агентами или приложениями и провайдерами моделей, к которым они обращаются. Вы подключаете API-ключи, подписки, локальные модели или собственные endpoint'ы, совместимые с OpenAI/Anthropic, а все запросы проходят через единый OpenAI-совместимый endpoint. Если указать "model": "auto", Manifest будет выбирать модель для каждого запроса, так что приложение не окажется привязано к одному провайдеру.
- llm-gateway можно использовать бесплатно? Какая у него лицензия?
- llm-gateway распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.
- llm-gateway всё ещё поддерживается?
- Активно поддерживается. Последний коммит в llm-gateway — 21 окт. 2026 г..
- Для чего можно использовать llm-gateway?
- Маршрутизация запросов AI-агента через несколько провайдеров без изменения кода приложения Отслеживание и ограничение расходов на LLM для команды или проекта Запуск собственного шлюза, объединяющего облачные API с локальными моделями Ollama или llama.cpp Отладка запросов агента по записанным телам запросов и ошибок
- Где скачать llm-gateway?
- Исходный код и инструкции по установке — на GitHub: https://github.com/mnfst/llm-gateway
Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.
Похожие проекты
Локально разворачиваемый LLM-маршрутизатор с доступным исходным кодом: простые запросы отправляет дешёвым или локальным моделям, сложные — премиальным через OpenAI-совместимый прокси.
66180PythonOtherОбновлён 4 часа назад
Самостоятельно размещаемый LLM-шлюз, совместимый с OpenAI: единая точка доступа к 40+ провайдерам, виртуальные ключи, бюджеты и учёт использования.
68789PythonApache-2.0Обновлён 3 дня назад
Персональный AI-агент с собственным хостингом: каждый агент работает в отдельном Linux-контейнере на вашем компьютере, с любой моделью, зашифрованным хранилищем и управлением через Telegram.
26939TypeScriptMITОбновлён позавчера
Открытый AI Gateway и Python SDK для работы с 100+ LLM-провайдерами через единый интерфейс в формате OpenAI.
61,6 тыс.12,5 тыс.PythonOtherОбновлён позавчера
Самостоятельно разворачиваемый AI-шлюз с API, совместимыми с OpenAI, Claude и Gemini, который маршрутизирует запросы к разным провайдерам моделей и отслеживает ключи, квоты и расходы.
50,3 тыс.12,1 тыс.GoAGPL-3.0Обновлён 3 дня назад