一个 MIT 开源的 AI 网关，通过统一端点接入数百家模型服务商，支持配额感知的自动降级与 Token 压缩。
7.8万1.1万TypeScriptMIT更新于 6小时前
- Star
- 687
- Fork
- 89
- 未关闭 Issue
- 325
- 最近提交
- 3小时前
这是什么？
Otari 位于应用与模型服务商之间。它负责验证请求身份、解析服务商凭据、在转发前检查预算，并在每次调用后记录用量。服务商调用通过 any-llm 库完成，客户端代码可以继续使用 OpenAI 或 Anthropic 风格的 API，上游服务商由网关处理。
服务商凭据保存在网关侧，而不是客户端应用中。管理员可以签发可随时吊销的 API 密钥，并按用户、工作区和模型限定范围，还能设置在请求发出前即生效的消费预算。本地路由策略支持故障转移、按权重分配以及在模型间的智能选择。
Otari 可以单机运行，使用 SQLite 或 PostgreSQL 等本地数据库；也可以作为数据平面连接到 otari.ai。它提供聊天补全、messages 和 responses 接口，并附带网页控制台，用于管理服务商、密钥、成员、预算和用量。可选服务包括代码沙箱、网页搜索、MCP 支持、推理护栏和文件理解。
核心功能
- 01为 40 多家服务商提供兼容 OpenAI 和 Anthropic 的统一端点。
- 02签发可吊销的虚拟 API 密钥，并按用户、工作区和模型限定范围。
- 03在请求转发前检查预算，并在完成后记录用量。
- 04支持故障转移、权重分配和基于学习的路由策略。
- 05提供网页控制台，管理服务商、密钥、预算和用量。
- 06可通过 Docker Compose 搭配 PostgreSQL 独立部署。
适用场景
- 让团队通过一个内部端点调用多个 LLM 服务商，无需分发服务商密钥。
- 为每个用户或项目设置并追踪大模型消费上限。
- 在模型之间配置故障转移，避免单一服务商故障导致请求失败。
- 只需修改 base URL，即可让 OpenAI 客户端应用切换到其他服务商。
标签
常见问题
- otari 是什么？
- 可自托管的 OpenAI 兼容 LLM 网关，通过单一端点接入 40 多家模型服务商，并提供虚拟密钥、预算与用量统计。 Otari 位于应用与模型服务商之间。它负责验证请求身份、解析服务商凭据、在转发前检查预算，并在每次调用后记录用量。服务商调用通过 any-llm 库完成，客户端代码可以继续使用 OpenAI 或 Anthropic 风格的 API，上游服务商由网关处理。
- otari 可以免费使用吗？用的什么许可证？
- otari 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。
- otari 还在维护吗？
- 活跃维护中。otari 最近一次提交是在 2026年10月19日。
- otari 适合用来做什么？
- 让团队通过一个内部端点调用多个 LLM 服务商，无需分发服务商密钥。 为每个用户或项目设置并追踪大模型消费上限。 在模型之间配置故障转移，避免单一服务商故障导致请求失败。 只需修改 base URL，即可让 OpenAI 客户端应用切换到其他服务商。
- 在哪里获取 otari？
- 源代码和安装说明在 GitHub 上：https://github.com/mozilla-ai/otari
概要由 AI 根据项目 README 生成；GitHub 数据每日更新。
相关项目
自托管的 OpenAI 兼容 AI 引擎，可在任意硬件（含纯 CPU）上运行大模型、视觉、语音、图像和视频模型。
5万4507GoMIT更新于 5小时前
可自托管的类 ChatGPT 聊天平台，统一接入多家 AI 模型服务，支持 Agent、MCP 与多用户登录。
4.6万9453TypeScriptMIT更新于 6小时前
本地网关与菜单栏应用，让 Claude Code、Codex、Gemini CLI 等编程智能体可以使用任意服务商或订阅的模型。
1.7万1198GoMIT更新于 5小时前
自托管的 AI 研究助手，可调用本地或云端大模型与多种搜索引擎进行多步深度研究，并附带引用。
9331869PythonMIT更新于 10小时前
开源 AI 网关，通过统一的 OpenAI 兼容 API 接入 23 家以上大模型服务，支持故障转移、负载均衡与语义缓存。
89321424GoApache-2.0更新于 5小时前