Conecta um iPhone a um Mac via USB-C para usar a GPU do celular na execução local de um modelo Qwen 27B, acelerando a leitura de prompts e ampliando o contexto.
1,1 mil120PythonMITAtualizado há 8 dias
incoai/splash
Um mecanismo local de inferência de LLM para Macs com Apple silicon, que atende agentes de programação e APIs compatíveis com OpenAI e Anthropic usando speculative decoding e kernels Metal.
Alternativa open source a:LM Studio
- Estrelas
- 1,593
- Forks
- 153
- Issues abertas
- 70
- Último commit
- há 7 horas
O que é?
Splash é um mecanismo local de inferência para Macs com Apple silicon. Ele executa modelos de linguagem em uma única máquina e disponibiliza endpoints compatíveis com OpenAI Chat Completions, Responses, Completions e Anthropic Messages, permitindo que agentes de programação e aplicativos existentes se conectem ao localhost em vez de usar um serviço na nuvem.
O mecanismo combina speculative decoding do DFlash 2 com kernels Metal desenvolvidos para cada família de modelos compatível e planeja a memória automaticamente. Também armazena em cache prefixos reutilizados, agrupa solicitações simultâneas, oferece suporte a entrada de imagens, chamadas de ferramentas e saídas em JSON Schema, além de incluir uma página de chat integrada. Entre os modelos compatíveis estão Qwen3.8-27B, Qwen3.6-35B-A3B e Qwen3.8-Flash-Next, nos formatos quantizados GGUF ou MLX.
A instalação é feita pelo Homebrew, e o servidor é iniciado com um único comando: `splash serve`. Os requisitos são um chip Apple M3 ou mais recente, macOS 26.4 ou posterior e pelo menos 36 GB de memória unificada para os exemplos em 4 bits.
Recursos principais
- 01Disponibiliza APIs compatíveis com OpenAI e Anthropic, com streaming e chamadas de ferramentas.
- 02Usa speculative decoding do DFlash 2 com kernels Metal específicos para cada modelo.
- 03Planeja a memória automaticamente e reutiliza prefixos em cache entre solicitações.
- 04Oferece suporte a entradas de imagens e PDFs, além de saídas estruturadas em JSON Schema.
- 05Inclui uma página de chat integrada e inicializadores para vários agentes de programação.
Casos de uso
- Executar agentes de programação como opencode ou Claude com um modelo no próprio Mac.
- Desenvolver aplicativos usando um endpoint compatível com OpenAI ou Anthropic, sem custos de APIs na nuvem.
- Manter prompts e código em uma máquina local, em vez de enviá-los para um serviço hospedado.
Início rápido
- 1
Instale o Splash com o Homebrew
brew install incoai/tap/splash - 2
Inicie o servidor e baixe o modelo
splash serve --model unsloth/Qwen3.8-27B-GGUF:UD-Q4_K_M - 3
Quando aparecer Ready, abra http://127.0.0.1:8000 no navegador
Antes de usar
- É necessário um Mac com Apple silicon, chip M3 ou posterior e macOS 26.4 ou posterior.
- Os exemplos de 4 bits precisam de pelo menos 36 GB de memória unificada; Macs com menos memória devem usar variantes GGUF menores.
- O suporte abrange apenas um conjunto limitado de famílias de modelos; modelos totalmente em BF16 ou F16 não são compatíveis.
Tópicos
Perguntas frequentes
- O que é splash?
- Um mecanismo local de inferência de LLM para Macs com Apple silicon, que atende agentes de programação e APIs compatíveis com OpenAI e Anthropic usando speculative decoding e kernels Metal. Splash é um mecanismo local de inferência para Macs com Apple silicon. Ele executa modelos de linguagem em uma única máquina e disponibiliza endpoints compatíveis com OpenAI Chat Completions, Responses, Completions e Anthropic Messages, permitindo que agentes de programação e aplicativos existentes se conectem ao localhost em vez de usar um serviço na nuvem.
- splash é gratuito? Qual é a licença?
- splash é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
- splash ainda é mantido?
- Manutenção ativa. O último commit de splash foi em 20 de out. de 2026.
- Para que posso usar splash?
- Executar agentes de programação como opencode ou Claude com um modelo no próprio Mac. Desenvolver aplicativos usando um endpoint compatível com OpenAI ou Anthropic, sem custos de APIs na nuvem. Manter prompts e código em uma máquina local, em vez de enviá-los para um serviço hospedado.
- Como instalar splash?
- Instale o Splash com o Homebrew: brew install incoai/tap/splash Inicie o servidor e baixe o modelo: splash serve --model unsloth/Qwen3.8-27B-GGUF:UD-Q4_K_M Quando aparecer Ready, abra http://127.0.0.1:8000 no navegador
- Onde consigo splash?
- O código-fonte e as instruções de instalação estão no GitHub: https://github.com/incoai/splash
Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Projetos relacionados
Mecanismo de inferência de código aberto que ajusta os kernels ao seu hardware para executar modelos abertos mais rápido em Apple Silicon, NVIDIA, AMD ou CPU.
7,2 mil494RustApache-2.0Atualizado anteontem
Reúne os dispositivos que você já tem em um único cluster de IA para executar modelos grandes localmente em vários Macs e outras máquinas.
48 mil3,6 milPythonApache-2.0Atualizado há 7 dias
Um mecanismo de inferência em C puro que executa modelos MoE muito grandes em hardware comum, carregando especialistas selecionados do disco sob demanda.
43 mil4,8 milCApache-2.0Atualizado há 11 horas
Um mecanismo nativo de inferência especializado para executar DeepSeek V4 Flash e outros modelos grandes selecionados em hardware Metal, CUDA e ROCm de consumo.
23,9 mil2,3 milCMITAtualizado anteontem
Runtime em Swift e Metal que executa o modelo Gemma 4 26B-A4B de 26B em Macs com Apple Silicon e cerca de 2 GB de RAM, transmitindo os experts do SSD.
6,9 mil461SwiftApache-2.0Atualizado há 6 dias