Repolode
exo-explore

exo-explore/exo

보유한 기기를 하나의 AI 클러스터로 묶어 대형 모델을 여러 Mac과 다른 컴퓨터에서 로컬로 실행합니다.

대체할 수 있는 제품:Ollama

스타
47,970
포크
3,568
열린 이슈
378
마지막 커밋
7일 전

어떤 프로젝트인가요?

exo는 네트워크에 연결된 기기를 하나의 클러스터로 묶어 AI 모델을 로컬에서 실행합니다. 한 대의 컴퓨터에 담기 어려운 모델을 여러 기기에 분산할 수 있으며, 수동으로 설정하지 않아도 주변 기기를 자동으로 검색합니다. Thunderbolt 5를 탑재한 Mac에서는 기기 간 지연 시간을 줄이는 Thunderbolt 기반 RDMA와, 기기를 추가할수록 추론 속도를 높이는 텐서 병렬 처리를 지원합니다.

이 프로젝트는 추론 백엔드로 MLX를, 통신에는 MLX distributed를 사용합니다. 클러스터는 OpenAI Chat Completions, Claude Messages, OpenAI Responses, Ollama 형식과 호환되는 API를 제공하므로 기존 클라이언트와 도구를 연결할 수 있습니다. 기본 제공 대시보드에서 클러스터를 관리하고 로드된 모델과 대화할 수 있으며, Hugging Face 허브에서 사용자 지정 모델을 추가할 수도 있습니다.

macOS 앱과 소스 코드에서 직접 실행하는 방식은 모두 macOS에서 지원됩니다. Linux에서는 현재 CPU로만 추론할 수 있습니다.

핵심 기능

  • 01수동 설정 없이 네트워크에서 다른 exo 기기를 자동으로 검색합니다.
  • 02토폴로지를 고려한 병렬 처리로 여러 기기에 모델을 분산합니다.
  • 03호환되는 Mac에서 텐서 병렬 처리와 Thunderbolt 5 기반 RDMA를 지원합니다.
  • 04OpenAI, Claude, OpenAI Responses, Ollama와 호환되는 API를 제공합니다.
  • 05클러스터 관리와 모델 대화를 위한 대시보드를 제공합니다.
  • 06Hugging Face 허브에서 사용자 지정 모델을 불러옵니다.

활용 사례

  • 여러 Mac을 하나로 묶어 단일 Mac에서 실행하기 어려운 모델을 실행합니다.
  • 보유한 하드웨어에서 추론을 로컬로 처리해 데이터를 비공개로 유지합니다.
  • 기존 OpenAI 또는 Ollama 호환 도구를 로컬 클러스터에 연결합니다.
  • 네트워크 성능은 좋지만 GPU 용량이 부족한 컴퓨터를 조정 전용 노드로 실행합니다.

빠른 시작

  1. 1

    Homebrew로 macOS 앱 설치하기

    brew install --cask exo
  2. 2

    브라우저에서 대시보드와 API 열기

사용 전 알아둘 점

  • macOS 앱을 사용하려면 macOS Tahoe 26.2 이상이 필요합니다.
  • Linux에서 exo는 현재 CPU만 사용해 실행됩니다. GPU 지원은 개발 중입니다.
  • Thunderbolt 5를 통한 RDMA를 사용하려면 특정 Mac, TB5 케이블, 그리고 모든 기기에서 서로 호환되는 OS 버전이 필요합니다.

토픽

자주 묻는 질문

exo은(는) 무엇인가요?
보유한 기기를 하나의 AI 클러스터로 묶어 대형 모델을 여러 Mac과 다른 컴퓨터에서 로컬로 실행합니다. exo는 네트워크에 연결된 기기를 하나의 클러스터로 묶어 AI 모델을 로컬에서 실행합니다. 한 대의 컴퓨터에 담기 어려운 모델을 여러 기기에 분산할 수 있으며, 수동으로 설정하지 않아도 주변 기기를 자동으로 검색합니다. Thunderbolt 5를 탑재한 Mac에서는 기기 간 지연 시간을 줄이는 Thunderbolt 기반 RDMA와, 기기를 추가할수록 추론 속도를 높이는 텐서 병렬 처리를 지원합니다.
exo은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
exo은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
exo은(는) 아직 유지보수되고 있나요?
활발히 유지보수 중. exo의 마지막 커밋은 2026년 10월 13일입니다.
exo은(는) 어디에 사용할 수 있나요?
여러 Mac을 하나로 묶어 단일 Mac에서 실행하기 어려운 모델을 실행합니다. 보유한 하드웨어에서 추론을 로컬로 처리해 데이터를 비공개로 유지합니다. 기존 OpenAI 또는 Ollama 호환 도구를 로컬 클러스터에 연결합니다. 네트워크 성능은 좋지만 GPU 용량이 부족한 컴퓨터를 조정 전용 노드로 실행합니다.
exo는 어떻게 설치하나요?
Homebrew로 macOS 앱 설치하기: brew install --cask exo 브라우저에서 대시보드와 API 열기
exo은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/exo-explore/exo

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트