jjang-ai/vmlx

这是什么？

核心功能

• 01提供兼容 OpenAI、Anthropic 和 Ollama 的对话、补全、向量和重排序接口。
• 02多层前缀缓存、分页缓存与磁盘缓存，可选 q4/q8 KV 缓存量化。
• 03支持连续批处理，以及投机解码和提示查找解码以加快生成。
• 04自动识别多种模型系列的工具调用格式和思考内容解析。
• 05基于 Flux 与 Qwen Image Edit 进行图像生成和编辑。
• 06支持跨多台 Mac 的流水线并行，运行更大的模型。

适用场景

• 在 Mac 上私密运行开源对话模型，数据无需发送到云端 API。
• 开发时将已有的 OpenAI 或 Anthropic SDK 代码指向本地模型。
• 通过一个 API 网关为多个工具同时提供本地模型服务。
• 在 Apple Silicon 设备上本地进行图像生成与编辑。

快速上手

1. 1

   用 Homebrew 安装 uv

   brew install uv
2. 2

   从 PyPI 安装 vmlx 工具

   uv tool install vmlx
3. 3

   使用 mlx-community 的模型启动服务器

   vmlx serve mlx-community/Qwen3-8B-4bit

使用前须知

• !仅支持 Apple Silicon 芯片的 Mac，无法在 Linux、Windows 或 Intel Mac 上运行。
• !需要 Python 3.10 或更高版本。

标签

常见问题

vmlx 是什么？

面向 Apple Silicon 的自托管 MLX 推理服务，提供 OpenAI、Anthropic 和 Ollama 兼容接口，可运行 LLM、VLM 与图像生成模型。 vMLX 是一个在 Apple Silicon Mac 上本地运行大语言模型、视觉语言模型和图像生成模型的推理服务。它提供兼容 OpenAI、Anthropic 和 Ollama 的 HTTP 接口，现有的 OpenAI SDK、Anthropic SDK 或 Ollama 命令行工具只需修改地址即可连接本地服务，无需第三方 API 密钥。模型可以从 Hugging Face 仓库或本地路径加载，mlx-community 中的模型可直接使用。

vmlx 可以免费使用吗？用的什么许可证？

vmlx 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。

vmlx 还在维护吗？

活跃维护中。vmlx 最近一次提交是在 2026年10月21日。

vmlx 适合用来做什么？

在 Mac 上私密运行开源对话模型，数据无需发送到云端 API。 开发时将已有的 OpenAI 或 Anthropic SDK 代码指向本地模型。 通过一个 API 网关为多个工具同时提供本地模型服务。 在 Apple Silicon 设备上本地进行图像生成与编辑。

vmlx 怎么安装和运行？

用 Homebrew 安装 uv: brew install uv 从 PyPI 安装 vmlx 工具: uv tool install vmlx 使用 mlx-community 的模型启动服务器: vmlx serve mlx-community/Qwen3-8B-4bit

在哪里获取 vmlx？

源代码和安装说明在 GitHub 上：https://github.com/jjang-ai/vmlx