jundot/omlx

这是什么？

核心功能

• 01提供兼容 OpenAI 和 Anthropic 的对话、补全、Embedding 与重排序接口。
• 02KV 缓存分为内存热层和 SSD 冷层，冷层数据重启后仍可使用。
• 03通过 mlx-lm 的 BatchGenerator 实现连续批处理，处理并发请求。
• 04支持多模型同时服务，提供 LRU 淘汰、模型固定、按模型空闲超时和内存限制。
• 05提供原生菜单栏应用和 Web 管理面板，用于监控、下载模型和配置。
• 06自动识别多种模型家族的工具调用格式，并支持 MCP。

适用场景

• 在 Mac 上让 Claude Code 等编程工具使用本地模型。
• 为原本调用云端 API 的应用提供本地 OpenAI 兼容接口。
• 常用模型常驻内存，较重的模型按需切换加载。
• 在同一台 Mac 上同时运行 Embedding、重排序或 OCR 模型与对话模型。

快速上手

1. 1

   添加 Homebrew tap

   brew tap jundot/omlx https://github.com/jundot/omlx
2. 2

   使用 Homebrew 安装 oMLX

   brew install jundot/omlx/omlx
3. 3

   使用你的模型目录启动前台服务器

   omlx serve --model-dir ~/models

使用前须知

• !仅支持 Apple Silicon 芯片的 Mac，且需要 macOS 15.0 或更高版本。
• !部分模型系列需要原生自定义内核，源码构建时需要完整的 Xcode 及 Metal 工具链。

收录于专题

标签

常见问题

omlx 是什么？

面向 Apple Silicon Mac 的 LLM 推理服务器，支持连续批处理、内存与 SSD 分层 KV 缓存，并可从菜单栏管理。 oMLX 是基于 MLX 和 mlx-lm 为 Apple Silicon Mac 构建的 LLM 推理服务器。它在本地地址提供 OpenAI 兼容和 Anthropic 兼容的 API，已有的客户端和编程工具可直接连接机器上运行的模型。同一个服务可以承载文本大模型、视觉语言模型、OCR 模型、Embedding 与 Reranker。

omlx 可以免费使用吗？用的什么许可证？

omlx 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。

omlx 还在维护吗？

活跃维护中。omlx 最近一次提交是在 2026年11月5日。

omlx 适合用来做什么？

在 Mac 上让 Claude Code 等编程工具使用本地模型。 为原本调用云端 API 的应用提供本地 OpenAI 兼容接口。 常用模型常驻内存，较重的模型按需切换加载。 在同一台 Mac 上同时运行 Embedding、重排序或 OCR 模型与对话模型。

omlx 怎么安装和运行？

添加 Homebrew tap: brew tap jundot/omlx https://github.com/jundot/omlx 使用 Homebrew 安装 oMLX: brew install jundot/omlx/omlx 使用你的模型目录启动前台服务器: omlx serve --model-dir ~/models

在哪里获取 omlx？

源代码和安装说明在 GitHub 上：https://github.com/jundot/omlx