“llm-inference” 相关开源项目

开源的无服务器 AI 运行时，支持 GPU 推理端点、沙箱和后台任务。

在四台 NVIDIA DGX Spark 上部署 DeepSeek-V4.1-Flash 的启动脚本、补丁与实测结果记录。

基于 Swift 和 Metal 的运行时，在约 2 GB 内存的 Apple Silicon Mac 上运行 Gemma 4 26B-A4B 模型。

纯 C 推理引擎，通过从磁盘按需读取路由专家，在普通硬件上运行超大混合专家（MoE）模型。

通过 USB-C 连接 iPhone 与 Mac，借助手机 GPU 协同本地运行 Qwen 27B 模型，加快提示词读取并扩展上下文。