“on-device-ai” 相关开源项目

基于 Swift 和 Metal 的运行时，在 Apple Silicon Mac 上以约 2 GB 内存运行 Gemma 4 26B-A4B 模型。

一款 macOS / iOS 文档问答应用，基于 Apple Foundation Models 在设备本地运行，回答关于文件的问题。

在 Apple Silicon Mac 上基于 MLX 运行本地开源模型，让 Claude Code 无需云端模型和 API 密钥即可工作。

面向手机、可穿戴设备、机器人和微控制器的 8-29 MB 端侧基础模型，支持工具调用、结构化抽取、向量嵌入和语音转文字。

面向 Sophon、Rockchip RKNN 与 x86 的 C++ 边缘 AI 引擎，用于视频分析与端侧 VLM 应用部署。