ggml-org/Llama-macOS

这是什么？

核心功能

• 01模型完全在本机运行，数据不会离开设备。
• 02在 localhost:9931/v1 提供兼容 OpenAI 格式的本地 API。
• 03内置 WebUI，可直接与模型对话。
• 04自动配置模型参数，并根据硬件推荐模型。
• 05按需加载模型，空闲时自动卸载。
• 06与 llama.cpp 共享 Hugging Face 模型缓存。

适用场景

• 在不把提示词发送到云服务的前提下，运行私有聊天或编程助手。
• 让本地编程代理或编辑器连接到 Mac 上自托管的模型。
• 无需手动配置，即可在 Apple 芯片上测试 Hugging Face 上的 GGUF 模型。
• 通过 Tailscale 从其他设备访问运行在 Mac 上的模型。

快速上手

1. 1

   通过 Homebrew 安装

   brew install --cask llama-app
2. 2

   或从 Releases 页面下载应用

3. 3

   启动 Llama，它会在 http://localhost:9931/v1 运行本地服务器

使用前须知

• !仅支持 macOS。
• !开启网络访问后，服务器默认没有密码，因此只应在可信网络中开放。

标签

常见问题

Llama-macOS 是什么？

一款 macOS 菜单栏应用，用于在本机运行大语言模型，基于 llama.cpp 构建，提供本地 API 服务和内置 WebUI。 Llama 是一款 macOS 菜单栏应用，可以完全在本机运行大语言模型。启动后会在 localhost:9931 提供兼容 OpenAI 格式的 /v1 接口，方便其他应用、编程代理和编辑器接入。如果已安装 llama.cpp，应用会直接使用它；否则会为你的 Mac 安装预编译的二进制版本。

Llama-macOS 可以免费使用吗？用的什么许可证？

Llama-macOS 以 MIT 许可证开源。用于商业产品前，请先确认许可证条款。

Llama-macOS 还在维护吗？

活跃维护中。Llama-macOS 最近一次提交是在 2026年10月18日。

Llama-macOS 适合用来做什么？

在不把提示词发送到云服务的前提下，运行私有聊天或编程助手。 让本地编程代理或编辑器连接到 Mac 上自托管的模型。 无需手动配置，即可在 Apple 芯片上测试 Hugging Face 上的 GGUF 模型。 通过 Tailscale 从其他设备访问运行在 Mac 上的模型。

Llama-macOS 怎么安装和运行？

通过 Homebrew 安装: brew install --cask llama-app 或从 Releases 页面下载应用 启动 Llama，它会在 http://localhost:9931/v1 运行本地服务器

在哪里获取 Llama-macOS？

源代码和安装说明在 GitHub 上：https://github.com/ggml-org/Llama-macOS