Repolode
Enviar
drumih

drumih/turbo-fieldfare

Runtime de Swift y Metal que ejecuta el modelo Gemma 4 26B-A4B de 26B en Mac con Apple Silicon y unos 2 GB de RAM, transmitiendo expertos desde el SSD.

Ver en GitHub
Estrellas
6,944
Forks
461
Issues abiertos
53
Último commit
hace 5 días

¿Qué es?

TurboFieldfare ejecuta el modelo Gemma 4 26B-A4B ajustado para seguir instrucciones sin cargar en memoria sus 14,3 GB de pesos. Mantiene residentes los pesos compartidos del núcleo y la caché KV FP16, y luego transmite desde el SSD únicamente los expertos seleccionados que necesita cada token mediante una caché de expertos de tamaño limitado. Esto permite ejecutar el modelo en Mac con Apple Silicon y 8 GB de RAM.

El proyecto es un runtime específico para este modelo, escrito en Swift y Metal, no un wrapper de MLX ni de llama.cpp. Incluye un instalador de streaming que recompone el checkpoint fijado de Hugging Face en un formato .gturbo local, una app nativa para Mac, una interfaz de línea de comandos y un servidor de Chat Completions compatible con OpenAI que escucha en loopback. La entrada de imágenes está disponible mediante un paquete complementario opcional en chips M2 o posteriores.

El proyecto requiere macOS 26, Metal 4 y Swift 6.2, y solo admite Mac con arm64. Las velocidades de decodificación indicadas son de 5,1-6,3 tokens por segundo en un MacBook Air M2 con 8 GB y de 31-35 tokens por segundo en un M5 Pro con 24 GB.

Funciones clave

  • 01Transmite desde el SSD los expertos seleccionados mediante una caché de tamaño limitado, manteniendo en memoria unos 2 GB de pesos y caché KV.
  • 02Se ejecuta en Mac con Apple Silicon y 8 GB de RAM; se ha validado en un MacBook Air M2 de 8 GB.
  • 03Incluye una app nativa para Mac, una CLI y un servidor de Chat Completions compatible con OpenAI que escucha en loopback.
  • 04El instalador de streaming recompone directamente el checkpoint de Hugging Face, sin guardar antes una copia completa en disco.
  • 05Admite declaraciones de herramientas de función en el servidor; las llamadas a herramientas se devuelven para que las ejecute el cliente.
  • 06El paquete complementario opcional añade entrada de imágenes en chips M2 o posteriores.

Casos de uso

  • Ejecutar localmente un modelo Gemma grande en un MacBook básico de 8 GB, sin acceso a la nube.
  • Experimentar con la transmisión de expertos y el diseño de kernels de Metal en Apple Silicon.
  • Servir un endpoint local compatible con OpenAI para herramientas que esperan la API de Chat Completions.
  • Chatear con un modelo privado en el dispositivo desde una app nativa para Mac.

Inicio rápido

  1. 1

    Clona el repositorio

    git clone https://github.com/drumih/turbo-fieldfare.git
  2. 2

    Entra en el directorio del proyecto

    cd turbo-fieldfare
  3. 3

    Compila la versión de lanzamiento

    swift build -c release
  4. 4

    Abre la app para Mac y, después, descarga y carga el modelo desde ella

    .build/release/TurboFieldfareMac

Antes de usarlo

  • Requiere un Mac con Apple Silicon y macOS 26 compatible con Metal 4. No es compatible con Intel ni con versiones anteriores de macOS.
  • La primera vez se descargan e instalan unos 15 GB de pesos del modelo.
  • El rendimiento varía mucho según el hardware y es lento en un M2 de 8 GB (unos 5-6 tok/s).
  • El servidor local no tiene autenticación remota ni TLS y debe permanecer limitado a loopback.

Temas

#apple-silicon#metal#llm-inference#on-device-ai#gemma#swift#local-ai#gemma4#gemma4-26b-a4b#gpgpu

Preguntas frecuentes

¿Qué es turbo-fieldfare?
Runtime de Swift y Metal que ejecuta el modelo Gemma 4 26B-A4B de 26B en Mac con Apple Silicon y unos 2 GB de RAM, transmitiendo expertos desde el SSD. TurboFieldfare ejecuta el modelo Gemma 4 26B-A4B ajustado para seguir instrucciones sin cargar en memoria sus 14,3 GB de pesos. Mantiene residentes los pesos compartidos del núcleo y la caché KV FP16, y luego transmite desde el SSD únicamente los expertos seleccionados que necesita cada token mediante una caché de expertos de tamaño limitado. Esto permite ejecutar el modelo en Mac con Apple Silicon y 8 GB de RAM.
¿turbo-fieldfare es gratuito? ¿Qué licencia tiene?
turbo-fieldfare es open source bajo la licencia Apache-2.0. Revisa los términos de la licencia antes de usarlo en productos comerciales.
¿turbo-fieldfare sigue mantenido?
Mantenimiento activo. El último commit de turbo-fieldfare fue el 15 oct 2026.
¿Para qué puedo usar turbo-fieldfare?
Ejecutar localmente un modelo Gemma grande en un MacBook básico de 8 GB, sin acceso a la nube. Experimentar con la transmisión de expertos y el diseño de kernels de Metal en Apple Silicon. Servir un endpoint local compatible con OpenAI para herramientas que esperan la API de Chat Completions. Chatear con un modelo privado en el dispositivo desde una app nativa para Mac.
¿Cómo se instala turbo-fieldfare?
Clona el repositorio: git clone https://github.com/drumih/turbo-fieldfare.git Entra en el directorio del proyecto: cd turbo-fieldfare Compila la versión de lanzamiento: swift build -c release Abre la app para Mac y, después, descarga y carga el modelo desde ella: .build/release/TurboFieldfareMac
¿Dónde consigo turbo-fieldfare?
El código fuente y las instrucciones de instalación están en GitHub: https://github.com/drumih/turbo-fieldfare

Resumen generado por IA a partir del README del proyecto. Las estadísticas de GitHub se actualizan a diario.

Proyectos relacionados