Um mecanismo nativo em Swift que executa um modelo Qwen3.8-Flash-Next de 105 GB e 4 bits em Macs com Apple Silicon e 16–64 GB, transmitindo os experts do SSD.
O Slotstream é um mecanismo de inferência local para Macs com Apple Silicon, escrito em Swift com MLX e Metal da Apple. Ele executa um modelo de mistura de experts cujos pesos são muito maiores que a RAM do sistema: os pesos compartilhados permanecem na memória, enquanto os experts necessários para cada token são lidos do SSD para um cache limitado, mantendo na RAM os experts usados com frequência. Depois que o modelo é baixado, a inferência acontece inteiramente no Mac, sem runtime de Python nem conta na nuvem.
O mecanismo disponibilizado é voltado ao Qwen3.8-Flash-Next de 4 bits em Macs com 16 a 64 GB de memória. No modo automático, o orçamento de memória, o tamanho do cache, a decodificação especulativa e a janela de contexto são definidos na inicialização; um controlador reduz o cache quando outros apps precisam de memória. O projeto oferece uma CLI, APIs HTTP compatíveis com Ollama, OpenAI e Anthropic, além de uma biblioteca Swift. O comando `slotstream launch` inicia Claude Code, Codex, Pi, opencode ou Hermes já conectado ao servidor local.
O mecanismo requer macOS 14 ou posterior e Apple Silicon; Windows, Linux e Macs com Intel não são compatíveis.
Execute o script oficial de instalação indicado no README
Verifique a memória e o espaço disponível em disco do seu Mac
slotstream doctorPeça uma primeira resposta ao modelo (na primeira execução, o modelo será baixado)
slotstream run --prompt "Why is the sky blue?"Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Servidor local de inferência para Macs com Apple silicon, que atende vários agentes de programação com IA ao mesmo tempo, usando decodificação em lote e chamadas de ferramentas com gramática restrita.
Executa modelos GGUF grandes de mixture-of-experts transmitindo os pesos dos especialistas do SSD, com base no llama.cpp, em máquinas com menos RAM ou VRAM do que o modelo exige.
Executa modelos de IA abertos localmente em Macs com Apple Silicon usando MLX e os disponibiliza por um servidor compatível com a API da Anthropic, para usar o Claude Code offline.
Servidor nativo local de LLMs e mídia para Macs com Apple Silicon, com APIs compatíveis com OpenAI, Anthropic e Ollama, sem exigir Python.
Framework de código aberto que executa modelos grandes de MoE esparso em dispositivos de consumo, transmitindo pesos dos especialistas do SSD com previsão de roteamento treinada.
API Swift para o MLX, framework de arrays para machine learning em Apple silicon, que permite a desenvolvedores Swift executar pesquisas e experimentos de ML.