mostlygeek/llama-swap

这是什么？

核心功能

• 01单个二进制文件加一个配置文件，无外部依赖。
• 02在 llama.cpp、vLLM、stable-diffusion.cpp、ComfyUI 等兼容 OpenAI 的服务之间按需切换。
• 03通过同一地址提供 OpenAI、Anthropic 及 llama-server 兼容接口。
• 04内置 Web UI，包含 playground、token 指标和手动加载/卸载功能。
• 05支持实时日志流和 Prometheus 指标。
• 06支持 API Key 访问控制，并可按 TTL 自动卸载闲置模型。

适用场景

• 在一块 GPU 上运行多个本地对话、代码和 embedding 模型，并按模型名切换。
• 为本地工具提供一个兼容 OpenAI 的入口，后端可替换为不同推理服务。
• 为小团队搭建带 API Key 和监控的共享本地推理服务。

快速上手

1. 1

   通过 Homebrew 安装（macOS/Linux）

   brew tap mostlygeek/llama-swap
2. 2

   安装 llama-swap 软件包

   brew install llama-swap
3. 3

   使用配置文件启动 llama-swap

   llama-swap --config path/to/config.yaml --listen localhost:8080

使用前须知

• !需要自行编写 YAML 配置文件，指向你自己的模型服务器命令和模型文件。

收录于专题

标签

常见问题

llama-swap 是什么？

基于 Go 的轻量代理，在同一个 OpenAI/Anthropic 兼容接口后按需切换 llama.cpp、vLLM 等本地模型服务。 llama-swap 可在同一台机器上运行多个本地生成式 AI 模型，并根据请求按需切换。它位于 llama.cpp 的 llama-server、vLLM、stable-diffusion.cpp、ComfyUI 等推理服务之前：请求指定模型时，启动对应服务并停止之前运行的服务。

llama-swap 可以免费使用吗？用的什么许可证？

llama-swap 以 MIT 许可证开源。用于商业产品前，请先确认许可证条款。

llama-swap 还在维护吗？

活跃维护中。llama-swap 最近一次提交是在 2026年11月6日。

llama-swap 适合用来做什么？

在一块 GPU 上运行多个本地对话、代码和 embedding 模型，并按模型名切换。 为本地工具提供一个兼容 OpenAI 的入口，后端可替换为不同推理服务。 为小团队搭建带 API Key 和监控的共享本地推理服务。

llama-swap 怎么安装和运行？

通过 Homebrew 安装（macOS/Linux）: brew tap mostlygeek/llama-swap 安装 llama-swap 软件包: brew install llama-swap 使用配置文件启动 llama-swap: llama-swap --config path/to/config.yaml --listen localhost:8080

在哪里获取 llama-swap？

源代码和安装说明在 GitHub 上：https://github.com/mostlygeek/llama-swap