Projetos open source sobre “on-device-ai”

Runtime em Swift e Metal que executa o Gemma 4 26B-A4B em Macs com Apple Silicon usando cerca de 2 GB de RAM, transmitindo os experts do SSD.

Um app de chat com documentos para macOS e iOS que responde a perguntas sobre seus arquivos usando Apple Foundation Models, com todo o processamento feito no dispositivo.

Executa o Claude Code com modelos de IA abertos no seu Mac com Apple Silicon, usando um servidor de API Anthropic baseado em MLX, sem modelos na nuvem nem chave de API.

Um modelo fundacional de 8 a 29 MB para celulares, wearables, robôs e microcontroladores, que processa chamadas de ferramentas, extração estruturada, embeddings e transcrição de fala no próprio dispositivo.

Engine de IA de borda em C++ que transforma análise de vídeo e modelos VLM no próprio dispositivo em apps implantáveis em hardware Sophon, Rockchip RKNN e x86.