Открытый AI-шлюз с единым OpenAI-совместимым API для 20+ LLM-провайдеров, резервным переключением, балансировкой нагрузки, семантическим кешированием и виртуальными ключами.
8,9 тыс.1,4 тыс.GoApache-2.0Обновлён 5 часов назад
#load-balancing
Отобранные репозитории GitHub по теме load-balancing с описаниями от ИИ и ключевыми метриками.
Открытый AI-шлюз с единым OpenAI-совместимым API для 20+ LLM-провайдеров, резервным переключением, балансировкой нагрузки, семантическим кешированием и виртуальными ключами.
Облачный API- и AI-шлюз на базе NGINX и etcd с динамической маршрутизацией и плагинами, которые загружаются без перезапуска.
Веб-интерфейс для управления виртуальными хостами, потоками, SSL-сертификатами и маршрутизацией nginx без ручного редактирования конфигурационных файлов.