Mesh-LLM/mesh-llm

这是什么？

核心功能

• 01在 mesh 所有节点上提供统一的 OpenAI 兼容 /v1 接口。
• 02按模型名称将请求路由到提供该模型的本地或对等节点。
• 03将单机放不下的大模型跨节点切分为多个层级分段运行。
• 04节点间通过 QUIC 进行端到端加密。
• 05支持通过邀请令牌组建私有 mesh，通过 Nostr 发现加入公共 mesh。
• 06提供 Web 控制台，并支持适用于服务器的无界面模式。

适用场景

• 将几台工作站上闲置的 GPU 汇总，运行单机无法容纳的大模型。
• 在局域网内为团队搭建共享的私有 LLM 接口。
• 让 Claude Code、OpenCode 等编程代理连接自托管的模型集群。
• 开发时以单进程方式将一个 GGUF 模型作为兼容 OpenAI 的服务运行。

快速上手

1. 1

   为你的操作系统运行官方安装脚本（见 README）

2. 2

   或在 Apple Silicon Mac 上使用 Homebrew 安装

   brew install Mesh-LLM/tap/mesh-llm
3. 3

   完成设置

   mesh-llm setup
4. 4

   加入公共 mesh 并在 9337 端口开始提供服务

   mesh-llm serve --auto

使用前须知

• !原生 Windows 安装存在已知问题，README 目前建议使用预发布版本。
• !"mesh" 模型的多模型并行扇出（Mixture-of-Agents）功能处于实验阶段，可能发生变化。
• !从源码构建需要多种工具链，包括 just、cmake、Rust、sccache、快速链接器和 Node.js 24。

收录于专题

标签

常见问题

mesh-llm 是什么？

将多台机器的 GPU 与内存汇聚成一个兼容 OpenAI 的 API，按需路由到本地或对等节点模型。 Mesh LLM 将多台机器上的 GPU 和内存汇集起来，对外提供一个兼容 OpenAI 的接口，默认地址为 localhost:9337/v1。当单个节点能容纳模型时，模型在本地运行；请求也可以通过 model 字段路由到能提供该模型的对等节点；对于单机放不下的大模型，则会跨节点切分为多个层级分段执行。

mesh-llm 可以免费使用吗？用的什么许可证？

mesh-llm 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。

mesh-llm 还在维护吗？

活跃维护中。mesh-llm 最近一次提交是在 2026年11月6日。

mesh-llm 适合用来做什么？

将几台工作站上闲置的 GPU 汇总，运行单机无法容纳的大模型。 在局域网内为团队搭建共享的私有 LLM 接口。 让 Claude Code、OpenCode 等编程代理连接自托管的模型集群。 开发时以单进程方式将一个 GGUF 模型作为兼容 OpenAI 的服务运行。

mesh-llm 怎么安装和运行？

为你的操作系统运行官方安装脚本（见 README） 或在 Apple Silicon Mac 上使用 Homebrew 安装: brew install Mesh-LLM/tap/mesh-llm 完成设置: mesh-llm setup 加入公共 mesh 并在 9337 端口开始提供服务: mesh-llm serve --auto

在哪里获取 mesh-llm？

源代码和安装说明在 GitHub 上：https://github.com/Mesh-LLM/mesh-llm