An edge-native MoE serving engine that runs large open-weight models like DeepSeek-V4 and Qwen3.6 on consumer GPUs and CPUs.
1.5万1469PythonApache-2.0更新 3 時間前
#llm-serving
「llm-serving」に関するオープンソースプロジェクト
llm-serving に関連する厳選 GitHub リポジトリ。AI による概要と主要な指標を掲載しています。