ENTERPILOT/GoModel

Что это?

Ключевые возможности

• 01Единые эндпоинты, совместимые с OpenAI и Anthropic, для разных LLM-провайдеров
• 02Точное и семантическое кэширование ответов
• 03Учёт стоимости каждого запроса, бюджеты и лимиты запросов
• 04Переключение при сбоях с повторными попытками и circuit breaker
• 05Виртуальные модели с балансировкой нагрузки по round-robin или стоимости
• 06Метрики Prometheus, трейсы OpenTelemetry и журналы в реальном времени

Сценарии использования

• Маршрутизация запросов одного приложения к нескольким LLM-провайдерам без изменения клиентского кода
• Учёт и ограничение расходов на AI для команд или API-ключей
• Добавление кэширования и переключения при сбоях перед самостоятельно размещёнными моделями, такими как Ollama или vLLM
• Замена LiteLLM в роли центрального прокси для трафика к LLM

Быстрый старт

1. 1

   Запустите GoModel с помощью Docker

   docker run --rm -p 8080:8080 -v gomodel_data:/app/data enterpilot/gomodel
2. 2

   Запустите официальный скрипт установки из README (macOS/Linux или Windows)

3. 3

   Откройте панель управления по адресу localhost:8080 и добавьте провайдера

4. 4

   Выполните тестовый вызов API к эндпоинту /v1/responses

   curl http://localhost:8080/v1/responses -H "Content-Type: application/json" -d '{"model": "gpt-5-chat-latest", "input": "Hello!"}'

Что важно знать

• !Некоторые функции, такие как сжатие промптов, интеллектуальная маршрутизация и единый вход через OIDC, доступны только в коммерческой версии GoModel Pro.
• !Для работы с размещёнными моделями нужны собственные API-ключи провайдера.

В подборках

Темы

Частые вопросы

Что такое GoModel?

Самостоятельно размещаемый AI-шлюз на Go с API, совместимым с OpenAI и Anthropic, для работы с разными LLM-провайдерами, учёта затрат, переключения при сбоях и применения ограничений. GoModel — AI-шлюз на Go между вашими приложениями и LLM-провайдерами. Клиенты отправляют запросы в формате, совместимом с OpenAI, на /v1 или в формате Anthropic на /v1/messages, а GoModel перенаправляет их таким провайдерам, как OpenAI, Anthropic, Gemini, Groq, xAI, Ollama и vLLM. Поэтому для работы официальных SDK достаточно изменить только базовый URL.

GoModel можно использовать бесплатно? Какая у него лицензия?

GoModel распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.

GoModel всё ещё поддерживается?

Активно поддерживается. Последний коммит в GoModel — 6 нояб. 2026 г..

Для чего можно использовать GoModel?

Маршрутизация запросов одного приложения к нескольким LLM-провайдерам без изменения клиентского кода Учёт и ограничение расходов на AI для команд или API-ключей Добавление кэширования и переключения при сбоях перед самостоятельно размещёнными моделями, такими как Ollama или vLLM Замена LiteLLM в роли центрального прокси для трафика к LLM

Как установить GoModel?

Запустите GoModel с помощью Docker: docker run --rm -p 8080:8080 -v gomodel_data:/app/data enterpilot/gomodel Запустите официальный скрипт установки из README (macOS/Linux или Windows) Откройте панель управления по адресу localhost:8080 и добавьте провайдера Выполните тестовый вызов API к эндпоинту /v1/responses: curl http://localhost:8080/v1/responses -H "Content-Type: application/json" -d '{"model": "gpt-5-chat-latest", "input": "Hello!"}'

Где скачать GoModel?

Исходный код и инструкции по установке — на GitHub: https://github.com/ENTERPILOT/GoModel