「moe」に関するオープンソースプロジェクト

GPUとCPUメモリに処理を分散し、DeepSeek-V4やQwen3.6などの大規模オープンウェイトモデルをコンシューマー向けGPUで動かす、エッジネイティブなMoEサービングエンジン。

ディスクから選択されたエキスパートを読み込み、一般的なハードウェアで超大規模MoEモデルを動かす純C推論エンジン。