Projetos open source sobre “llm-inference”

Runtime em Swift e Metal que executa o Gemma 4 26B-A4B em Macs com Apple Silicon usando cerca de 2 GB de RAM, transmitindo os experts do SSD.

Um mecanismo de serving de MoE nativo para edge que executa modelos open-weight grandes, como DeepSeek-V4 e Qwen3.6, em GPUs de consumo, dividindo o trabalho entre a memória da GPU e a da CPU.

Um mecanismo de inferência totalmente em C que executa modelos MoE muito grandes em hardware comum, carregando especialistas roteados do disco sob demanda.

Projeto educacional enxuto para executar inferência de modelos visão-linguagem em Apple Silicon com MLX e pontuar respostas candidatas sobre uma imagem.

Usa um iPhone conectado por USB-C para acelerar o prefill e ampliar o contexto de um modelo Qwen 27B executado localmente em um Mac.