MLX 的 Swift 接口,让开发者在 Apple 芯片上用 Swift 进行机器学习研究与实验。
drumih/turbo-fieldfare
基于 Swift 和 Metal 的运行时,在约 2 GB 内存的 Apple Silicon Mac 上运行 Gemma 4 26B-A4B 模型。
- Star
- 6,944
- Fork
- 461
- 未关闭 Issue
- 53
- 最近提交
- 5天前
这是什么?
TurboFieldfare 在不把全部 14.3 GB 权重载入内存的前提下运行指令微调版 Gemma 4 26B-A4B 模型。它将共享层权重和 FP16 KV cache 常驻内存,每个 token 所需的路由专家则从 SSD 按需流式读取,并通过有上限的专家缓存管理。因此模型可以运行在 8 GB 内存的 Apple Silicon Mac 上。
项目使用 Swift 和 Metal 从头实现,并非对 MLX 或 llama.cpp 的封装,仅针对这一个模型设计。它包含流式安装器(将固定版本的 Hugging Face 权重重新打包为本地 .gturbo 格式)、原生 Mac 应用、命令行工具,以及仅监听本地回环地址的 OpenAI 兼容 Chat Completions 服务。在 M2 及更新芯片上,可额外安装配套包以支持图片输入。
运行要求为 macOS 26、Metal 4 和 Swift 6.2,仅支持 arm64 架构的 Mac。项目公布的解码速度为:8 GB M2 MacBook Air 约 5.1-6.3 tokens/s,24 GB M5 Pro 约 31-35 tokens/s。
核心功能
- 01将路由专家从 SSD 经有上限的缓存流式读取,使权重和 KV cache 约占 2 GB 内存。
- 02支持 8 GB 内存的 Apple Silicon Mac,已在 8 GB M2 MacBook Air 上验证。
- 03提供原生 Mac 应用、命令行工具,以及仅本地访问的 OpenAI 兼容 Chat Completions 服务。
- 04流式安装器直接重新打包 Hugging Face 权重,无需在磁盘上保留完整副本。
- 05服务端支持函数工具声明,模型生成的工具调用交由客户端授权和执行。
- 06可选配套包在 M2 及更新芯片上支持图片输入。
适用场景
- 在 8 GB 内存的 MacBook 上本地运行大型 Gemma 模型,无需连接云端。
- 研究 Apple Silicon 上的专家流式加载和 Metal 内核设计。
- 为支持 Chat Completions API 的工具提供本地 OpenAI 兼容接口。
- 通过原生 Mac 应用与运行在本机的私有模型对话。
快速上手
- 1
克隆仓库
git clone https://github.com/drumih/turbo-fieldfare.git - 2
进入项目目录
cd turbo-fieldfare - 3
构建发布版本
swift build -c release - 4
启动 Mac 应用,然后在应用内下载并加载模型
.build/release/TurboFieldfareMac
使用前须知
- 需要运行 macOS 26 和 Metal 4 的 Apple Silicon Mac,不支持 Intel 或更旧的 macOS。
- 首次运行需要下载并安装约 15 GB 的模型权重。
- 吞吐量因硬件差异很大,在 8 GB M2 上较慢(约 5-6 tok/s)。
- 本地服务器没有远程身份验证或 TLS,必须只在回环地址上运行。
标签
常见问题
- turbo-fieldfare 是什么?
- 基于 Swift 和 Metal 的运行时,在约 2 GB 内存的 Apple Silicon Mac 上运行 Gemma 4 26B-A4B 模型。 TurboFieldfare 在不把全部 14.3 GB 权重载入内存的前提下运行指令微调版 Gemma 4 26B-A4B 模型。它将共享层权重和 FP16 KV cache 常驻内存,每个 token 所需的路由专家则从 SSD 按需流式读取,并通过有上限的专家缓存管理。因此模型可以运行在 8 GB 内存的 Apple Silicon Mac 上。
- turbo-fieldfare 可以免费使用吗?用的什么许可证?
- turbo-fieldfare 以 Apache-2.0 许可证开源。用于商业产品前,请先确认许可证条款。
- turbo-fieldfare 还在维护吗?
- 活跃维护中。turbo-fieldfare 最近一次提交是在 2026年10月15日。
- turbo-fieldfare 适合用来做什么?
- 在 8 GB 内存的 MacBook 上本地运行大型 Gemma 模型,无需连接云端。 研究 Apple Silicon 上的专家流式加载和 Metal 内核设计。 为支持 Chat Completions API 的工具提供本地 OpenAI 兼容接口。 通过原生 Mac 应用与运行在本机的私有模型对话。
- turbo-fieldfare 怎么安装和运行?
- 克隆仓库: git clone https://github.com/drumih/turbo-fieldfare.git 进入项目目录: cd turbo-fieldfare 构建发布版本: swift build -c release 启动 Mac 应用,然后在应用内下载并加载模型: .build/release/TurboFieldfareMac
- 在哪里获取 turbo-fieldfare?
- 源代码和安装说明在 GitHub 上:https://github.com/drumih/turbo-fieldfare
概要由 AI 根据项目 README 生成;GitHub 数据每日更新。
相关项目
一款 iOS 本地 AI 智能体框架,在 iPhone 上运行 Gemma 等模型,并调用日历、提醒、通讯录等原生能力。
通过 USB-C 连接 iPhone 与 Mac,借助手机 GPU 协同本地运行 Qwen 27B 模型,加快提示词读取并扩展上下文。
一款免费开源的 macOS 应用,可在 Apple silicon 机型上播放 Wallpaper Engine 的场景、视频和网页壁纸。
Google AI Edge 推出的 Android 与 iOS 应用,可在手机上离线体验开源大模型和端侧生成式 AI 功能。
面向消费级硬件的原生推理引擎,用于在 Metal、CUDA 和 ROCm 上运行 DeepSeek V4 Flash 等少数大模型。