面向消费级硬件的边缘端 MoE 推理引擎,通过 GPU 与 CPU 协同运行超大开源模型。
1.5万1468PythonApache-2.0更新于 9小时前
2 个替代品
想找 LM Studio 的免费开源替代?下面这 2 个项目都能替代它。每个都经过人工审核,并用大白话讲清楚,Star、许可证、维护状态一眼对比。
| 项目 | Star | 许可证 | 最近提交 |
|---|---|---|---|
| FlashML-org/FreeToken | ★ 1.5万 | Apache-2.0 | 9小时前 |
| drumih/turbo-fieldfare | ★ 6942 | Apache-2.0 | 3天前 |
面向消费级硬件的边缘端 MoE 推理引擎,通过 GPU 与 CPU 协同运行超大开源模型。
基于 Swift 和 Metal 的运行时,在 Apple Silicon Mac 上以约 2 GB 内存运行 Gemma 4 26B-A4B 模型。