面向消费级硬件的边缘端 MoE 推理引擎，可在个人电脑上运行大型开源权重模型。
1.5万1469PythonApache-2.0更新于 6小时前
#llm-serving
“llm-serving” 相关开源项目
与 llm-serving 相关的精选 GitHub 开源仓库，附 AI 中文概要与关键数据。
#llm-serving
与 llm-serving 相关的精选 GitHub 开源仓库，附 AI 中文概要与关键数据。
面向消费级硬件的边缘端 MoE 推理引擎，可在个人电脑上运行大型开源权重模型。