ddalcu/mlx-serve

这是什么？

核心功能

• 01在同一本地端口提供 OpenAI、Anthropic 和 Ollama 接口，支持流式输出和工具调用。
• 02基于 MLX 在 Apple Silicon 上原生运行对话、图像、视频、音乐、语音和 3D 模型。
• 03提供 macOS 应用和内置网页控制台，并根据内存大小推荐模型。
• 04命令行工具可下载、运行和启动模型，支持断点续传。
• 05支持 Gemma、Qwen、GLM、DeepSeek 等模型系列，以及支持架构的 MLX 或 GGUF 模型。
• 06可将 Claude Code 等编程智能体直接接入本地模型。

适用场景

• 在 Mac 上运行离线、私密的对话助手，数据不上传云端。
• 开发时将现有 OpenAI 或 Anthropic SDK 代码指向本地模型。
• 让 Claude Code 等编程智能体调用本地部署的模型。
• 在 Mac 或 iPhone 上离线生成图像、语音或音乐。

快速上手

1. 1

   添加 Homebrew 仓库

   brew tap ddalcu/mlx-serve https://github.com/ddalcu/mlx-serve
2. 2

   信任该仓库

   brew trust ddalcu/mlx-serve
3. 3

   安装命令行服务器

   brew install mlx-serve
4. 4

   下载 Gemma 4 并在终端中对话

   mlx-serve run gemma4

使用前须知

• !仅支持搭载 Apple Silicon 芯片的 Mac；Mac 应用需要 macOS 26.2 或更高版本。
• !像 128 GB 和 256 GB 档位的大型模型需要大量内存，并会从 SSD 流式读取权重。

收录于专题

标签

常见问题

mlx-serve 是什么？

面向 Apple Silicon Mac 的原生本地大模型与多媒体推理服务，兼容 OpenAI、Anthropic 和 Ollama 接口，无需 Python。 MLX-Serve 让 Mac 在本地运行开源模型，提供一个原生 macOS 应用和一个本地服务器。服务器在 localhost:11234 的同一端口上同时提供 OpenAI 的 chat、completions 和 Responses 接口、Anthropic Messages 接口以及 Ollama 接口，现有客户端和 Claude Code 等编程智能体无需修改即可接入。核心使用 Zig 编写，基于苹果的 MLX 框架运行，运行时和构建过程都不依赖 Python。

mlx-serve 可以免费使用吗？用的什么许可证？

mlx-serve 以 Other 许可证开源。用于商业产品前，请先确认许可证条款。

mlx-serve 还在维护吗？

活跃维护中。mlx-serve 最近一次提交是在 2026年11月6日。

mlx-serve 适合用来做什么？

在 Mac 上运行离线、私密的对话助手，数据不上传云端。 开发时将现有 OpenAI 或 Anthropic SDK 代码指向本地模型。 让 Claude Code 等编程智能体调用本地部署的模型。 在 Mac 或 iPhone 上离线生成图像、语音或音乐。

mlx-serve 怎么安装和运行？

添加 Homebrew 仓库: brew tap ddalcu/mlx-serve https://github.com/ddalcu/mlx-serve 信任该仓库: brew trust ddalcu/mlx-serve 安装命令行服务器: brew install mlx-serve 下载 Gemma 4 并在终端中对话: mlx-serve run gemma4

在哪里获取 mlx-serve？

源代码和安装说明在 GitHub 上：https://github.com/ddalcu/mlx-serve