开源 AI 网关,通过统一的 OpenAI 兼容 API 接入 20 多家大模型服务,支持故障转移、负载均衡与语义缓存。
89191422GoApache-2.0更新于 8小时前
#load-balancing
与 load-balancing 相关的精选 GitHub 开源仓库,附 AI 中文概要与关键数据。
开源 AI 网关,通过统一的 OpenAI 兼容 API 接入 20 多家大模型服务,支持故障转移、负载均衡与语义缓存。
基于 NGINX 和 etcd 构建的云原生 API 网关与 AI 网关,支持动态路由和插件热加载。
一个用于管理 nginx 的图形化界面,免去手动编辑配置文件的麻烦。