Apple Silicon、NVIDIA、AMD、CPU向けにカーネルを調整し、オープンモデルを高速実行するオープンソース推論エンジン。
- スター
- 47,970
- フォーク
- 3,568
- 未解決の Issue
- 378
- 最終コミット
- 7 日前
これは何?
exoはネットワーク上のデバイスを1つのクラスターにまとめ、AIモデルをローカルで実行します。1台では大きすぎるモデルを複数のデバイスに分割して実行でき、手動で設定しなくてもピアを自動検出します。Thunderbolt 5搭載のMacでは、デバイス間のレイテンシを抑えるThunderbolt over RDMAと、デバイスを追加するほど推論を高速化できるテンソル並列処理に対応しています。
推論バックエンドにはMLX、通信にはMLX distributedを使用します。クラスターはOpenAI Chat Completions、Claude Messages、OpenAI Responses、Ollama形式と互換性のあるAPIを提供するため、既存のクライアントやツールから接続できます。組み込みのダッシュボードではクラスターの管理や読み込み済みモデルとのチャットができ、Hugging Face hubからカスタムモデルを追加することもできます。
macOSアプリとソースからの実行はどちらもmacOSでサポートされています。Linuxでは現在、CPUのみで推論を実行できます。
主な機能
- 01ネットワーク上のexoデバイスを、手動設定なしで自動検出します。
- 02トポロジーを考慮した並列処理で、モデルを複数のデバイスに分割します。
- 03対応するMacでテンソル並列処理とThunderbolt 5 over RDMAを利用できます。
- 04OpenAI、Claude、OpenAI Responses、Ollama互換のAPIを提供します。
- 05クラスターの管理やモデルとのチャットに使えるダッシュボードを備えています。
- 06Hugging Face hubからカスタムモデルを読み込みます。
ユースケース
- 複数のMacをまとめて、1台では実行できない大きさのモデルを動かす。
- 手持ちのハードウェア上で推論をローカルに実行し、プライバシーを保つ。
- 既存のOpenAIまたはOllama互換ツールからローカルクラスターに接続する。
- ネットワーク性能は高いもののGPU性能が限られたマシンを、コーディネーター専用ノードとして稼働させる。
クイックスタート
- 1
HomebrewでmacOSアプリをインストールする
brew install --cask exo - 2
ブラウザーでダッシュボードとAPIを開く
使う前に知っておきたいこと
- macOSアプリの利用にはmacOS Tahoe 26.2以降が必要です。
- Linuxでは、exoは現在CPUのみで動作します。GPUサポートは開発中です。
- Thunderbolt 5経由のRDMAには、対応するMac、TB5ケーブル、およびすべてのデバイスで一致するOSバージョンが必要です。
トピック
よくある質問
- exo とは?
- 手持ちのデバイスを1つのAIクラスターにまとめ、複数のMacや他のマシンで大規模モデルをローカル実行できます。 exoはネットワーク上のデバイスを1つのクラスターにまとめ、AIモデルをローカルで実行します。1台では大きすぎるモデルを複数のデバイスに分割して実行でき、手動で設定しなくてもピアを自動検出します。Thunderbolt 5搭載のMacでは、デバイス間のレイテンシを抑えるThunderbolt over RDMAと、デバイスを追加するほど推論を高速化できるテンソル並列処理に対応しています。
- exo は無料で使えますか?ライセンスは?
- exo は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
- exo は今もメンテナンスされていますか?
- 活発にメンテナンス中。exo の最終コミットは 2026年10月13日 です。
- exo は何に使えますか?
- 複数のMacをまとめて、1台では実行できない大きさのモデルを動かす。 手持ちのハードウェア上で推論をローカルに実行し、プライバシーを保つ。 既存のOpenAIまたはOllama互換ツールからローカルクラスターに接続する。 ネットワーク性能は高いもののGPU性能が限られたマシンを、コーディネーター専用ノードとして稼働させる。
- exo のインストール方法は?
- HomebrewでmacOSアプリをインストールする: brew install --cask exo ブラウザーでダッシュボードとAPIを開く
- exo はどこで入手できますか?
- ソースコードとインストール手順は GitHub にあります:https://github.com/exo-explore/exo
概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。
関連プロジェクト
LLMや拡散モデルをローカルで実行・ファインチューニング・エクスポートできるオープンソースのデスクトップアプリ/Web UIと、コードベースの学習ライブラリ。
CPU、RAM、GPUを検出し、手元のマシンで快適に動作するオープンLLMを順位付けするRust製CLI/TUI。
MLXでApple Silicon Mac上にオープンモデルを動かし、Claude Codeをオフラインで使えるAPI互換サーバーを提供します。
Gemma、Qwen、DeepSeek、gpt-ossなどのオープンモデルをローカルやクラウドで実行できるCLI・REST API・各種ライブラリ。
Cherry Studioは、多数のLLMプロバイダーやローカルモデル、300種類以上のプリセットアシスタントに接続できるクロスプラットフォームのデスクトップAIクライアントです。