「llm-inference」に関するオープンソースプロジェクト

SSDからエキスパートをストリーミングし、約2 GBのメモリでApple Silicon Mac上のGemma 4 26B-A4Bを実行するSwift/Metalランタイム。

GPUとCPUメモリに処理を分散し、DeepSeek-V4やQwen3.6などの大規模オープンウェイトモデルをコンシューマー向けGPUで動かす、エッジネイティブなMoEサービングエンジン。

ディスクから選択されたエキスパートを読み込み、一般的なハードウェアで超大規模MoEモデルを動かす純C推論エンジン。

Apple Silicon上でMLXを使い、1枚の画像に対する回答候補をスコアリングする小規模な学習用プロジェクト。

USB-C接続したiPhoneで、Mac上のローカル27B Qwenモデルのprefillを高速化し、コンテキストを拡張します。