Repolode
exo-explore

exo-explore/exo

手持ちのデバイスを1つのAIクラスターにまとめ、複数のMacや他のマシンで大規模モデルをローカル実行できます。

代替できる製品:Ollama

スター
47,970
フォーク
3,568
未解決の Issue
378
最終コミット
7 日前

これは何?

exoはネットワーク上のデバイスを1つのクラスターにまとめ、AIモデルをローカルで実行します。1台では大きすぎるモデルを複数のデバイスに分割して実行でき、手動で設定しなくてもピアを自動検出します。Thunderbolt 5搭載のMacでは、デバイス間のレイテンシを抑えるThunderbolt over RDMAと、デバイスを追加するほど推論を高速化できるテンソル並列処理に対応しています。

推論バックエンドにはMLX、通信にはMLX distributedを使用します。クラスターはOpenAI Chat Completions、Claude Messages、OpenAI Responses、Ollama形式と互換性のあるAPIを提供するため、既存のクライアントやツールから接続できます。組み込みのダッシュボードではクラスターの管理や読み込み済みモデルとのチャットができ、Hugging Face hubからカスタムモデルを追加することもできます。

macOSアプリとソースからの実行はどちらもmacOSでサポートされています。Linuxでは現在、CPUのみで推論を実行できます。

主な機能

  • 01ネットワーク上のexoデバイスを、手動設定なしで自動検出します。
  • 02トポロジーを考慮した並列処理で、モデルを複数のデバイスに分割します。
  • 03対応するMacでテンソル並列処理とThunderbolt 5 over RDMAを利用できます。
  • 04OpenAI、Claude、OpenAI Responses、Ollama互換のAPIを提供します。
  • 05クラスターの管理やモデルとのチャットに使えるダッシュボードを備えています。
  • 06Hugging Face hubからカスタムモデルを読み込みます。

ユースケース

  • 複数のMacをまとめて、1台では実行できない大きさのモデルを動かす。
  • 手持ちのハードウェア上で推論をローカルに実行し、プライバシーを保つ。
  • 既存のOpenAIまたはOllama互換ツールからローカルクラスターに接続する。
  • ネットワーク性能は高いもののGPU性能が限られたマシンを、コーディネーター専用ノードとして稼働させる。

クイックスタート

  1. 1

    HomebrewでmacOSアプリをインストールする

    brew install --cask exo
  2. 2

    ブラウザーでダッシュボードとAPIを開く

使う前に知っておきたいこと

  • macOSアプリの利用にはmacOS Tahoe 26.2以降が必要です。
  • Linuxでは、exoは現在CPUのみで動作します。GPUサポートは開発中です。
  • Thunderbolt 5経由のRDMAには、対応するMac、TB5ケーブル、およびすべてのデバイスで一致するOSバージョンが必要です。

トピック

よくある質問

exo とは?
手持ちのデバイスを1つのAIクラスターにまとめ、複数のMacや他のマシンで大規模モデルをローカル実行できます。 exoはネットワーク上のデバイスを1つのクラスターにまとめ、AIモデルをローカルで実行します。1台では大きすぎるモデルを複数のデバイスに分割して実行でき、手動で設定しなくてもピアを自動検出します。Thunderbolt 5搭載のMacでは、デバイス間のレイテンシを抑えるThunderbolt over RDMAと、デバイスを追加するほど推論を高速化できるテンソル並列処理に対応しています。
exo は無料で使えますか?ライセンスは?
exo は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
exo は今もメンテナンスされていますか?
活発にメンテナンス中。exo の最終コミットは 2026年10月13日 です。
exo は何に使えますか?
複数のMacをまとめて、1台では実行できない大きさのモデルを動かす。 手持ちのハードウェア上で推論をローカルに実行し、プライバシーを保つ。 既存のOpenAIまたはOllama互換ツールからローカルクラスターに接続する。 ネットワーク性能は高いもののGPU性能が限られたマシンを、コーディネーター専用ノードとして稼働させる。
exo のインストール方法は?
HomebrewでmacOSアプリをインストールする: brew install --cask exo ブラウザーでダッシュボードとAPIを開く
exo はどこで入手できますか?
ソースコードとインストール手順は GitHub にあります:https://github.com/exo-explore/exo

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト