Repolode
提交项目
exo-explore

exo-explore/exo

把你的多台设备连成一个 AI 集群，在本地运行更大的模型。

可替代:Ollama

在 GitHub 查看
Star
47,970
Fork
3,568
未关闭 Issue
378
最近提交
7天前

这是什么？

exo 将网络中的多台设备组成一个集群，在本地运行 AI 模型。单台设备放不下的大模型可以拆分到多台设备上运行，设备之间无需手动配置即可自动发现彼此。在支持 Thunderbolt 5 的 Mac 上，它可以通过 Thunderbolt 使用 RDMA 降低设备间延迟，并通过张量并行随设备增加而提升推理速度。

项目以 MLX 作为推理后端，并使用 MLX distributed 进行分布式通信。集群提供的 API 兼容 OpenAI Chat Completions、Claude Messages、OpenAI Responses 和 Ollama 格式，现有客户端和工具可以直接接入。内置仪表盘可用于管理集群并与已加载的模型对话，也可以从 Hugging Face 添加自定义模型。

在 macOS 上可使用桌面应用或从源码运行；Linux 目前仅支持在 CPU 上推理。

核心功能

  • 01无需手动配置，自动发现网络中的其他 exo 设备。
  • 02根据设备拓扑和资源，将模型拆分到多台设备上运行。
  • 03在支持的 Mac 上提供张量并行和基于 Thunderbolt 5 的 RDMA。
  • 04提供兼容 OpenAI、Claude、OpenAI Responses 和 Ollama 的 API。
  • 05内置仪表盘，用于管理集群和与模型对话。
  • 06支持从 Hugging Face 加载自定义模型。

适用场景

  • 将多台 Mac 组合起来，运行单机无法容纳的大模型。
  • 在自有硬件上进行本地推理，数据无需离开本地网络。
  • 让已有的 OpenAI 或 Ollama 兼容工具直接连接本地集群。
  • 在网络条件好但 GPU 资源有限的机器上运行仅负责调度的节点。

快速上手

  1. 1

    用 Homebrew 安装 macOS 应用

    brew install --cask exo
  2. 2

    在浏览器中打开控制面板和 API

使用前须知

  • macOS 应用需要 macOS Tahoe 26.2 或更高版本。
  • 在 Linux 上，exo 目前只能使用 CPU 运行，GPU 支持仍在开发中。
  • 基于 Thunderbolt 5 的 RDMA 需要特定型号的 Mac、TB5 线缆，并且所有设备的系统版本必须一致。

标签

#llm#distributed-inference#mlx#local-llm#apple-silicon#rdma#openai-compatible

常见问题

exo 是什么？
把你的多台设备连成一个 AI 集群，在本地运行更大的模型。 exo 将网络中的多台设备组成一个集群，在本地运行 AI 模型。单台设备放不下的大模型可以拆分到多台设备上运行，设备之间无需手动配置即可自动发现彼此。在支持 Thunderbolt 5 的 Mac 上，它可以通过 Thunderbolt 使用 RDMA 降低设备间延迟，并通过张量并行随设备增加而提升推理速度。
exo 可以免费使用吗？用的什么许可证？
exo 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。
exo 还在维护吗？
活跃维护中。exo 最近一次提交是在 2026年10月13日。
exo 适合用来做什么？
将多台 Mac 组合起来，运行单机无法容纳的大模型。 在自有硬件上进行本地推理，数据无需离开本地网络。 让已有的 OpenAI 或 Ollama 兼容工具直接连接本地集群。 在网络条件好但 GPU 资源有限的机器上运行仅负责调度的节点。
exo 怎么安装和运行？
用 Homebrew 安装 macOS 应用: brew install --cask exo 在浏览器中打开控制面板和 API
在哪里获取 exo？
源代码和安装说明在 GitHub 上：https://github.com/exo-explore/exo

概要由 AI 根据项目 README 生成；GitHub 数据每日更新。

相关项目