Repolode
drumih

drumih/turbo-fieldfare

基于 Swift 和 Metal 的运行时,在约 2 GB 内存的 Apple Silicon Mac 上运行 Gemma 4 26B-A4B 模型。

Star
6,944
Fork
461
未关闭 Issue
53
最近提交
5天前

这是什么?

TurboFieldfare 在不把全部 14.3 GB 权重载入内存的前提下运行指令微调版 Gemma 4 26B-A4B 模型。它将共享层权重和 FP16 KV cache 常驻内存,每个 token 所需的路由专家则从 SSD 按需流式读取,并通过有上限的专家缓存管理。因此模型可以运行在 8 GB 内存的 Apple Silicon Mac 上。

项目使用 Swift 和 Metal 从头实现,并非对 MLX 或 llama.cpp 的封装,仅针对这一个模型设计。它包含流式安装器(将固定版本的 Hugging Face 权重重新打包为本地 .gturbo 格式)、原生 Mac 应用、命令行工具,以及仅监听本地回环地址的 OpenAI 兼容 Chat Completions 服务。在 M2 及更新芯片上,可额外安装配套包以支持图片输入。

运行要求为 macOS 26、Metal 4 和 Swift 6.2,仅支持 arm64 架构的 Mac。项目公布的解码速度为:8 GB M2 MacBook Air 约 5.1-6.3 tokens/s,24 GB M5 Pro 约 31-35 tokens/s。

核心功能

  • 01将路由专家从 SSD 经有上限的缓存流式读取,使权重和 KV cache 约占 2 GB 内存。
  • 02支持 8 GB 内存的 Apple Silicon Mac,已在 8 GB M2 MacBook Air 上验证。
  • 03提供原生 Mac 应用、命令行工具,以及仅本地访问的 OpenAI 兼容 Chat Completions 服务。
  • 04流式安装器直接重新打包 Hugging Face 权重,无需在磁盘上保留完整副本。
  • 05服务端支持函数工具声明,模型生成的工具调用交由客户端授权和执行。
  • 06可选配套包在 M2 及更新芯片上支持图片输入。

适用场景

  • 在 8 GB 内存的 MacBook 上本地运行大型 Gemma 模型,无需连接云端。
  • 研究 Apple Silicon 上的专家流式加载和 Metal 内核设计。
  • 为支持 Chat Completions API 的工具提供本地 OpenAI 兼容接口。
  • 通过原生 Mac 应用与运行在本机的私有模型对话。

快速上手

  1. 1

    克隆仓库

    git clone https://github.com/drumih/turbo-fieldfare.git
  2. 2

    进入项目目录

    cd turbo-fieldfare
  3. 3

    构建发布版本

    swift build -c release
  4. 4

    启动 Mac 应用,然后在应用内下载并加载模型

    .build/release/TurboFieldfareMac

使用前须知

  • 需要运行 macOS 26 和 Metal 4 的 Apple Silicon Mac,不支持 Intel 或更旧的 macOS。
  • 首次运行需要下载并安装约 15 GB 的模型权重。
  • 吞吐量因硬件差异很大,在 8 GB M2 上较慢(约 5-6 tok/s)。
  • 本地服务器没有远程身份验证或 TLS,必须只在回环地址上运行。

标签

常见问题

turbo-fieldfare 是什么?
基于 Swift 和 Metal 的运行时,在约 2 GB 内存的 Apple Silicon Mac 上运行 Gemma 4 26B-A4B 模型。 TurboFieldfare 在不把全部 14.3 GB 权重载入内存的前提下运行指令微调版 Gemma 4 26B-A4B 模型。它将共享层权重和 FP16 KV cache 常驻内存,每个 token 所需的路由专家则从 SSD 按需流式读取,并通过有上限的专家缓存管理。因此模型可以运行在 8 GB 内存的 Apple Silicon Mac 上。
turbo-fieldfare 可以免费使用吗?用的什么许可证?
turbo-fieldfare 以 Apache-2.0 许可证开源。用于商业产品前,请先确认许可证条款。
turbo-fieldfare 还在维护吗?
活跃维护中。turbo-fieldfare 最近一次提交是在 2026年10月15日。
turbo-fieldfare 适合用来做什么?
在 8 GB 内存的 MacBook 上本地运行大型 Gemma 模型,无需连接云端。 研究 Apple Silicon 上的专家流式加载和 Metal 内核设计。 为支持 Chat Completions API 的工具提供本地 OpenAI 兼容接口。 通过原生 Mac 应用与运行在本机的私有模型对话。
turbo-fieldfare 怎么安装和运行?
克隆仓库: git clone https://github.com/drumih/turbo-fieldfare.git 进入项目目录: cd turbo-fieldfare 构建发布版本: swift build -c release 启动 Mac 应用,然后在应用内下载并加载模型: .build/release/TurboFieldfareMac
在哪里获取 turbo-fieldfare?
源代码和安装说明在 GitHub 上:https://github.com/drumih/turbo-fieldfare

概要由 AI 根据项目 README 生成;GitHub 数据每日更新。

相关项目