Repolode
Enviar
drumih

drumih/turbo-fieldfare

Runtime em Swift e Metal que executa o modelo Gemma 4 26B-A4B de 26B em Macs com Apple Silicon e cerca de 2 GB de RAM, transmitindo os experts do SSD.

Ver no GitHub
Estrelas
6,944
Forks
461
Issues abertas
53
Último commit
há 5 dias

O que é?

O TurboFieldfare executa o modelo Gemma 4 26B-A4B ajustado para seguir instruções sem carregar os 14,3 GB de pesos na memória. Ele mantém os pesos compartilhados do núcleo e o cache KV em FP16 residentes e, em seguida, transmite do SSD apenas os experts roteados necessários para cada token, usando um cache de experts com tamanho limitado. Assim, o modelo pode rodar em Macs com Apple Silicon e 8 GB de RAM.

O projeto é um runtime específico para o modelo, escrito em Swift e Metal, e não um wrapper para MLX ou llama.cpp. Ele inclui um instalador com streaming que reempacota o checkpoint fixado do Hugging Face no formato .gturbo local, um app nativo para Mac, uma interface de linha de comando e um servidor de Chat Completions compatível com OpenAI, acessível via loopback. A entrada de imagens está disponível por meio de um pacote complementar opcional em chips M2 ou mais recentes.

O projeto requer macOS 26, Metal 4 e Swift 6.2, e oferece suporte apenas a Macs arm64. As velocidades de decodificação reportadas são de 5,1 a 6,3 tokens por segundo em um MacBook Air M2 com 8 GB de RAM e de 31 a 35 tokens por segundo em um M5 Pro com 24 GB.

Recursos principais

  • 01Transmite do SSD os experts roteados usando um cache com tamanho limitado, mantendo cerca de 2 GB de pesos e cache KV na memória.
  • 02Roda em Macs com Apple Silicon e 8 GB de RAM, com validação em um MacBook Air M2 de 8 GB.
  • 03Inclui um app nativo para Mac, uma CLI e um servidor de Chat Completions compatível com OpenAI, acessível via loopback.
  • 04O instalador com streaming reempacota diretamente o checkpoint do Hugging Face, sem armazenar uma cópia completa no disco.
  • 05Oferece suporte a declarações de ferramentas de função no servidor, que retorna as chamadas de ferramentas para o cliente executar.
  • 06O pacote complementar opcional adiciona entrada de imagens em chips M2 ou mais recentes.

Casos de uso

  • Executar localmente um modelo Gemma grande em um MacBook básico com 8 GB, sem depender da nuvem.
  • Experimentar com streaming de experts e design de kernels Metal no Apple Silicon.
  • Disponibilizar um endpoint local compatível com OpenAI para ferramentas que esperam a API Chat Completions.
  • Conversar com um modelo privado executado no dispositivo usando um app nativo para Mac.

Início rápido

  1. 1

    Clone o repositório

    git clone https://github.com/drumih/turbo-fieldfare.git
  2. 2

    Acesse o diretório do projeto

    cd turbo-fieldfare
  3. 3

    Compile a versão de lançamento

    swift build -c release
  4. 4

    Abra o app para Mac e, em seguida, baixe e carregue o modelo nele

    .build/release/TurboFieldfareMac

Antes de usar

  • Requer um Mac com Apple Silicon e macOS 26 compatível com Metal 4. Macs Intel e versões anteriores do macOS não são compatíveis.
  • Na primeira execução, cerca de 15 GB de pesos do modelo são baixados e instalados.
  • O desempenho varia bastante conforme o hardware e é lento em um M2 de 8 GB (cerca de 5-6 tok/s).
  • O servidor local não tem autenticação remota nem TLS e deve permanecer restrito ao loopback.

Tópicos

#apple-silicon#metal#llm-inference#on-device-ai#gemma#swift#local-ai#gemma4#gemma4-26b-a4b#gpgpu

Perguntas frequentes

O que é turbo-fieldfare?
Runtime em Swift e Metal que executa o modelo Gemma 4 26B-A4B de 26B em Macs com Apple Silicon e cerca de 2 GB de RAM, transmitindo os experts do SSD. O TurboFieldfare executa o modelo Gemma 4 26B-A4B ajustado para seguir instruções sem carregar os 14,3 GB de pesos na memória. Ele mantém os pesos compartilhados do núcleo e o cache KV em FP16 residentes e, em seguida, transmite do SSD apenas os experts roteados necessários para cada token, usando um cache de experts com tamanho limitado. Assim, o modelo pode rodar em Macs com Apple Silicon e 8 GB de RAM.
turbo-fieldfare é gratuito? Qual é a licença?
turbo-fieldfare é open source sob a licença Apache-2.0. Confira os termos da licença antes de usá-lo em produtos comerciais.
turbo-fieldfare ainda é mantido?
Manutenção ativa. O último commit de turbo-fieldfare foi em 15 de out. de 2026.
Para que posso usar turbo-fieldfare?
Executar localmente um modelo Gemma grande em um MacBook básico com 8 GB, sem depender da nuvem. Experimentar com streaming de experts e design de kernels Metal no Apple Silicon. Disponibilizar um endpoint local compatível com OpenAI para ferramentas que esperam a API Chat Completions. Conversar com um modelo privado executado no dispositivo usando um app nativo para Mac.
Como instalar turbo-fieldfare?
Clone o repositório: git clone https://github.com/drumih/turbo-fieldfare.git Acesse o diretório do projeto: cd turbo-fieldfare Compile a versão de lançamento: swift build -c release Abra o app para Mac e, em seguida, baixe e carregue o modelo nele: .build/release/TurboFieldfareMac
Onde consigo turbo-fieldfare?
O código-fonte e as instruções de instalação estão no GitHub: https://github.com/drumih/turbo-fieldfare

Resumo gerado por IA a partir do README do projeto. As estatísticas do GitHub são atualizadas diariamente.

Projetos relacionados