自托管的 OpenAI 兼容 AI 引擎，可在任意硬件（含纯 CPU）上运行大模型、视觉、语音、图像和视频模型。
5万4531GoMIT更新于 3小时前
- Star
- 8,444
- Fork
- 1,394
- 未关闭 Issue
- 141
- 最近提交
- 2小时前
这是什么？
OGX 是一个用于构建 AI 应用的开源 API 服务器，可直接替代 OpenAI API。现有的 OpenAI 兼容客户端和智能体框架无需修改代码即可接入，服务器可部署在笔记本、数据中心或云端。
项目采用可插拔的 provider 架构。开发时可以本地使用 Ollama，上线时切换到 vLLM 或托管模型服务，应用层 API 保持不变。它提供带服务端工具调用、MCP 服务器集成和内置文件检索的 Responses API，并包含向量存储、文件和批处理等接口。
OGX 还原生支持 Anthropic SDK（/v1/messages）和 Google GenAI SDK 的请求，并提供 Python 与 TypeScript 官方客户端 SDK。项目前身为 Llama Stack。
核心功能
- 01兼容 OpenAI 的聊天补全、文本补全与向量嵌入接口。
- 02Responses API 支持工具调用、MCP 服务器集成和内置文件检索。
- 03提供向量存储、文件管理和批处理接口。
- 04原生支持 Anthropic 与 Google GenAI SDK 的接口。
- 05可插拔 provider 架构，同一套 API 可对接 Ollama、vLLM 或托管服务。
适用场景
- 本地开发时运行兼容 OpenAI 的后端，之后用同样的代码部署到生产环境。
- 在开源模型与商用模型之间切换，无需改写应用代码。
- 通过单次 Responses API 调用构建调用工具和 MCP 服务器的智能体。
- 在自有基础设施中搭建可自主管理的 AI 网关。
快速上手
- 1
使用 uv 安装 OGX 包
uv pip install ogx - 2
启动 OGX 服务器（从环境中自动检测提供商）
uv run ogx go
使用前须知
- 需要至少配置一个模型提供商或后端才能进行实际推理。
收录于专题
标签
常见问题
- ogx 是什么？
- 开源的智能体 API 服务器，提供 OpenAI 兼容接口，可对接任意模型与基础设施。 OGX 是一个用于构建 AI 应用的开源 API 服务器，可直接替代 OpenAI API。现有的 OpenAI 兼容客户端和智能体框架无需修改代码即可接入，服务器可部署在笔记本、数据中心或云端。
- ogx 可以免费使用吗？用的什么许可证？
- ogx 以 MIT 许可证开源。用于商业产品前，请先确认许可证条款。
- ogx 还在维护吗？
- 活跃维护中。ogx 最近一次提交是在 2026年10月22日。
- ogx 适合用来做什么？
- 本地开发时运行兼容 OpenAI 的后端，之后用同样的代码部署到生产环境。 在开源模型与商用模型之间切换，无需改写应用代码。 通过单次 Responses API 调用构建调用工具和 MCP 服务器的智能体。 在自有基础设施中搭建可自主管理的 AI 网关。
- ogx 怎么安装和运行？
- 使用 uv 安装 OGX 包: uv pip install ogx 启动 OGX 服务器（从环境中自动检测提供商）: uv run ogx go
- 在哪里获取 ogx？
- 源代码和安装说明在 GitHub 上：https://github.com/ogx-ai/ogx
概要由 AI 根据项目 README 生成；GitHub 数据每日更新。
相关项目
可自托管的 AI 智能体平台，基于你自己的文档回答问题，并附带引用来源。
1.8万2220PythonMIT更新于 2小时前
基于 Rust 的大模型推理引擎，提供 OpenAI 与 Anthropic 兼容接口，支持量化与多模态模型。
7762747RustMIT更新于 昨天
可自托管的 AI 聊天界面，支持 Ollama 与 OpenAI 兼容 API，内置 RAG、插件和多用户权限管理。
15.6万2.3万PythonOther更新于 2小时前
自托管推理服务器，通过兼容 OpenAI 的 API 在一个集群中提供嵌入、重排序、OCR、抽取和大模型等多种模型。
3418326PythonApache-2.0更新于 9小时前