Servidor local de inferência de IA para Macs com Apple Silicon, que executa LLMs quantizados de baixa precisão e alta qualidade nos formatos Sushi STQ e EXL3.
Sushi é um servidor local de IA para executar modelos de linguagem grandes quantizados de baixa precisão em Macs com Apple Silicon. Ele usa o formato personalizado Sushi Trellis Quant (STQ) e um conversor híbrido EXL3-Affine para gerar pacotes de modelos compactados que mantêm alta qualidade de saída. O projeto é um fork independente do mlx-serve, de ddalcu, e pode ser executado por conta própria ou como mecanismo convidado dentro do mlx-serve. Requer um chip M1 ou mais recente e macOS 26.2 ou posterior.
O servidor escuta em 127.0.0.1:12345 e oferece suporte a decodificação especulativa (MTP para Qwen e MiMo, DFlash2 para GLM), com cache KV de 8 bits ativado por padrão. Os pacotes incluem os modelos Qwen3.8 Flash-Next, MiMo-V2.6 Flash, GLM-5.3 Flash e DeepSeek-V4.1 Flash, com requisitos de memória que vão de 48 GB a 128 GB. Um modo de streaming mantém apenas parte dos pesos na memória e lê os especialistas roteados do SSD, permitindo executar modelos em Macs com menos RAM do que o tamanho dos pesos.
O servidor pode ser disponibilizado na rede local usando uma chave de API. O projeto também informa métricas de KLD e concordância top-1 para vários pacotes, além de resultados de velocidade e avaliações de uso de ferramentas por agentes em hardware M5 Max.
Instale o Sushi com Homebrew
brew install beamivalice/tap/sushiInicie o servidor com um pacote de modelos (substitua <pack> pelo nome de um pacote no README)
sushi serve <pack>Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.
Um mecanismo local de inferência de LLM para Macs com Apple silicon, que atende agentes de programação e APIs compatíveis com OpenAI e Anthropic usando speculative decoding e kernels Metal.
Conecta um iPhone a um Mac via USB-C para usar a GPU do celular na execução local de um modelo Qwen 27B, acelerando a leitura de prompts e ampliando o contexto.
Fork do llama.cpp ajustado para placas NVIDIA RTX 30 da arquitetura Ampere, principalmente a RTX 3090, para rodar modelos Qwen3.8 localmente.
Servidor de inferência de LLM para Macs com Apple Silicon, com batching contínuo, cache KV em camadas de RAM/SSD e gerenciamento pela barra de menus.
Um mecanismo local de inferência de LLM escrito em Zig que executa modelos em GPUs Apple Silicon Metal e NVIDIA CUDA, sem Python nem MLX.
Um mecanismo de inferência de LLM para modelos compatíveis com Hugging Face, baseado em vLLM, com serviço compatível com OpenAI e implantação distribuída.