Mecanismo de inferência de código aberto que ajusta os kernels ao seu hardware para executar modelos abertos mais rápido em Apple Silicon, NVIDIA, AMD ou CPU.
7,2 mil494RustApache-2.0Atualizado ontem
exo-explore/exo
Reúne os dispositivos que você já tem em um único cluster de IA para executar modelos grandes localmente em vários Macs e outras máquinas.
Alternativa open source a:Ollama
- Estrelas
- 47,970
- Forks
- 3,568
- Issues abertas
- 378
- Último commit
- há 7 dias
O que é?
O exo conecta os dispositivos da sua rede em um único cluster que executa modelos de IA localmente. Ele pode dividir entre vários dispositivos um modelo grande demais para uma única máquina e descobre os dispositivos automaticamente, sem configuração manual. Em Macs com Thunderbolt 5, oferece suporte a RDMA over Thunderbolt para reduzir a latência entre dispositivos e a tensor parallelism para acelerar a inferência conforme mais dispositivos são adicionados.
O projeto usa MLX como backend de inferência e MLX distributed para comunicação. O cluster disponibiliza uma API compatível com os formatos OpenAI Chat Completions, Claude Messages, OpenAI Responses e Ollama, permitindo conectar clientes e ferramentas existentes. Um dashboard integrado permite gerenciar o cluster e conversar com os modelos carregados, e é possível adicionar modelos personalizados pelo hub do Hugging Face.
O app para macOS e a execução a partir do código-fonte são compatíveis com macOS, enquanto no momento o Linux executa inferência somente na CPU.
Recursos principais
- 01Descobre automaticamente outros dispositivos exo na rede, sem configuração manual.
- 02Divide modelos entre dispositivos usando paralelismo com reconhecimento da topologia.
- 03Oferece suporte a tensor parallelism e RDMA over Thunderbolt 5 em Macs compatíveis.
- 04Disponibiliza APIs compatíveis com OpenAI, Claude, OpenAI Responses e Ollama.
- 05Inclui um dashboard para gerenciar o cluster e conversar com modelos.
- 06Carrega modelos personalizados pelo hub do Hugging Face.
Casos de uso
- Executar um modelo grande demais para um único Mac, reunindo vários Macs.
- Manter a inferência local e privada no hardware que você já tem.
- Conectar ferramentas existentes compatíveis com OpenAI ou Ollama a um cluster local.
- Executar um nó que atua somente como coordenador em uma máquina com boa conectividade de rede, mas pouca capacidade de GPU.
Início rápido
- 1
Instale o app para macOS com o Homebrew
brew install --cask exo - 2
Abra o painel e a API no navegador
Antes de usar
- O app para macOS requer o macOS Tahoe 26.2 ou posterior.
- No Linux, o exo atualmente funciona apenas com CPU; o suporte a GPU está em desenvolvimento.
- O RDMA via Thunderbolt 5 requer determinados Macs, cabos TB5 e versões compatíveis do sistema operacional em todos os dispositivos.
Tópicos
Perguntas frequentes
- O que é exo?
- Reúne os dispositivos que você já tem em um único cluster de IA para executar modelos grandes localmente em vários Macs e outras máquinas. O exo conecta os dispositivos da sua rede em um único cluster que executa modelos de IA localmente. Ele pode dividir entre vários dispositivos um modelo grande demais para uma única máquina e descobre os dispositivos automaticamente, sem configuração manual. Em Macs com Thunderbolt 5, oferece suporte a RDMA over Thunderbolt para reduzir a latência entre dispositivos e a tensor parallelism para acelerar a inferência conforme mais dispositivos são adicionados.
- exo é gratuito? Qual é a licença?
- exo é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
- exo ainda é mantido?
- Manutenção ativa. O último commit de exo foi em 13 de out. de 2026.
- Para que posso usar exo?
- Executar um modelo grande demais para um único Mac, reunindo vários Macs. Manter a inferência local e privada no hardware que você já tem. Conectar ferramentas existentes compatíveis com OpenAI ou Ollama a um cluster local. Executar um nó que atua somente como coordenador em uma máquina com boa conectividade de rede, mas pouca capacidade de GPU.
- Como instalar exo?
- Instale o app para macOS com o Homebrew: brew install --cask exo Abra o painel e a API no navegador
- Onde consigo exo?
- O código-fonte e as instruções de instalação estão no GitHub: https://github.com/exo-explore/exo
Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Projetos relacionados
Aplicativo desktop de código aberto e interface web para executar, ajustar e exportar LLMs e modelos de difusão localmente, além de uma biblioteca de treinamento baseada em código.
78,3 mil7,2 milPythonApache-2.0Atualizado há 3 horas
Uma CLI e TUI em Rust que detecta CPU, RAM e GPU e classifica LLMs abertos conforme o desempenho esperado na sua máquina.
38,1 mil2,5 milRustMITAtualizado ontem
Executa modelos de IA abertos localmente em Macs com Apple Silicon usando MLX e os disponibiliza por um servidor compatível com a API da Anthropic, para usar o Claude Code offline.
3,4 mil652PythonMITAtualizado há 5 dias
Runner local e na nuvem para modelos abertos, como Gemma, Qwen, DeepSeek e gpt-oss, com CLI, REST API e bibliotecas para Python e JavaScript.
183,8 mil18,4 milGoMITAtualizado anteontem
Cherry Studio é um cliente de IA para desktop multiplataforma que se conecta a diversos provedores de LLM, modelos locais e mais de 300 assistentes predefinidos.
52,8 mil5,1 milTypeScriptAGPL-3.0Atualizado há 12 horas