FlashML-org / FreeTokenGitHub面向消费级硬件的边缘端 MoE 推理引擎,通过 GPU 与 CPU 协同运行超大开源模型。AI 与机器学习#moe#llm-inference#edge-ai#local-llm#quantization1.5万1468PythonApache-2.0更新于 13小时前
JustVugg / colibriGitHub纯 C 推理引擎,通过从磁盘按需读取专家网络,在普通硬件上运行超大混合专家(MoE)模型。AI 与机器学习#llm-inference#moe#mixture-of-experts#pure-c#local-llm4.3万4774CApache-2.0更新于 7小时前