Repolode
Предложить
exo-explore

exo-explore/exo

Объединяет ваши устройства в единый AI-кластер, чтобы локально запускать большие модели на нескольких Mac и других компьютерах.

Open source альтернатива:Ollama

Открыть на GitHub
Звёзды
47,970
Форки
3,568
Открытые issues
378
Последний коммит
7 дней назад

Что это?

exo объединяет устройства в вашей сети в единый кластер для локального запуска AI-моделей. Если модель слишком велика для одной машины, её можно распределить между несколькими устройствами; узлы обнаруживаются автоматически, без ручной настройки. На Mac с Thunderbolt 5 поддерживаются RDMA over Thunderbolt для снижения задержки между устройствами и tensor parallelism, ускоряющий инференс при добавлении новых устройств.

В качестве бэкенда инференса проект использует MLX, а для обмена данными — MLX distributed. Кластер предоставляет API, совместимый с форматами OpenAI Chat Completions, Claude Messages, OpenAI Responses и Ollama, поэтому к нему можно подключать существующие клиенты и инструменты. Встроенная панель управления позволяет управлять кластером и общаться с загруженными моделями, а пользовательские модели можно добавлять из Hugging Face hub.

Приложение для macOS и запуск из исходного кода поддерживаются в macOS, а в Linux инференс пока работает только на CPU.

Ключевые возможности

  • 01Автоматически обнаруживает другие устройства с exo в сети, без ручной настройки.
  • 02Распределяет модели между устройствами с учётом топологии.
  • 03Поддерживает tensor parallelism и RDMA over Thunderbolt 5 на совместимых Mac.
  • 04Предоставляет API, совместимые с OpenAI, Claude, OpenAI Responses и Ollama.
  • 05Включает панель управления кластером и общения с моделями.
  • 06Загружает пользовательские модели из Hugging Face hub.

Сценарии использования

  • Запуск модели, слишком большой для одного Mac, за счёт объединения нескольких Mac.
  • Локальный и приватный инференс на уже имеющемся оборудовании.
  • Подключение существующих инструментов, совместимых с OpenAI или Ollama, к локальному кластеру.
  • Запуск узла только с координатором на машине с хорошим сетевым подключением, но небольшой вычислительной мощностью GPU.

Быстрый старт

  1. 1

    Установите приложение для macOS с помощью Homebrew

    brew install --cask exo
  2. 2

    Откройте панель управления и API в браузере

Что важно знать

  • Для приложения macOS требуется macOS Tahoe 26.2 или новее.
  • В Linux exo пока работает только на CPU; поддержка GPU находится в разработке.
  • Для RDMA через Thunderbolt 5 нужны определённые модели Mac, кабели TB5 и совместимые версии ОС на всех устройствах.

Темы

#llm#distributed-inference#mlx#local-llm#apple-silicon#rdma#openai-compatible

Частые вопросы

Что такое exo?
Объединяет ваши устройства в единый AI-кластер, чтобы локально запускать большие модели на нескольких Mac и других компьютерах. exo объединяет устройства в вашей сети в единый кластер для локального запуска AI-моделей. Если модель слишком велика для одной машины, её можно распределить между несколькими устройствами; узлы обнаруживаются автоматически, без ручной настройки. На Mac с Thunderbolt 5 поддерживаются RDMA over Thunderbolt для снижения задержки между устройствами и tensor parallelism, ускоряющий инференс при добавлении новых устройств.
exo можно использовать бесплатно? Какая у него лицензия?
exo распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
exo всё ещё поддерживается?
Активно поддерживается. Последний коммит в exo — 13 окт. 2026 г..
Для чего можно использовать exo?
Запуск модели, слишком большой для одного Mac, за счёт объединения нескольких Mac. Локальный и приватный инференс на уже имеющемся оборудовании. Подключение существующих инструментов, совместимых с OpenAI или Ollama, к локальному кластеру. Запуск узла только с координатором на машине с хорошим сетевым подключением, но небольшой вычислительной мощностью GPU.
Как установить exo?
Установите приложение для macOS с помощью Homebrew: brew install --cask exo Откройте панель управления и API в браузере
Где скачать exo?
Исходный код и инструкции по установке — на GitHub: https://github.com/exo-explore/exo

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты