beamivalice/sushi

これは何？

主な機能

• 01Apple Silicon上で、独自のSTQおよびEXL3-Affine形式の低ビット量子化LLMを実行できます。
• 02QwenとMiMoではMTP、GLMではDFlash2を使った投機的デコードに対応しています。
• 03ルーティングされたエキスパートをSSDから読み込むことで、重みのサイズよりメモリが少ないMacでもモデルを実行できます。
• 04デフォルトで8-bit KVキャッシュを使用し、ローカルポートで待ち受けます。
• 05Bearer APIキーを使って、ネットワーク上のほかのコンピューターにもサービスを提供できます。

ユースケース

• 48 GBから128 GBのMacで、大規模な量子化コーディングモデルやチャットモデルをローカル実行する。
• 自宅やオフィスのネットワーク上にあるほかのマシンへ、OpenAI互換のローカルエンドポイントを提供する。
• Qwen、GLM、MiMo、DeepSeekのモデルパック間で、量子化品質や速度を比較する。

クイックスタート

1. 1

   HomebrewでSushiをインストールする

   brew install beamivalice/tap/sushi
2. 2

   モデルパックを指定してサーバーを起動する（<pack>はREADMEに記載されているパック名に置き換えてください）

   sushi serve <pack>

使う前に知っておきたいこと

• !Apple Silicon M1以降とmacOS 26.2以降が必要です。
• !ほとんどのモデルパックは48 GB〜128 GBのメモリを必要とし、小型のMacで実行するにはSSDストリーミングの構成が必要なものもあります。
• !READMEにはsushiはMITライセンスと記載されていますが、QwenとMiMoのモデルパックには個別のライセンスが適用されており、リポジトリで検出されたライセンスは不明確です。

収録されている特集

トピック

よくある質問

sushi とは？

Apple Silicon搭載Macで、Sushi STQおよびEXL3形式の高品質な低ビット量子化LLMを実行するローカル推論サーバーです。 Sushiは、Apple Silicon搭載Macで低ビット量子化された大規模言語モデルを実行するローカルAIサーバーです。独自のSushi Trellis Quant（STQ）形式とEXL3-Affineハイブリッドコンバーターを使用し、出力品質を保った圧縮モデルパックを作成します。このプロジェクトはddalcuのmlx-serveから分岐した独立フォークで、単独で実行することも、mlx-serve内のゲストエンジンとして実行することもできます。M1以降のチップとmacOS 26.2以降が必要です。

sushi は無料で使えますか？ライセンスは？

sushi は Other ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

sushi は今もメンテナンスされていますか？

活発にメンテナンス中。sushi の最終コミットは 2026年11月7日 です。

sushi は何に使えますか？

48 GBから128 GBのMacで、大規模な量子化コーディングモデルやチャットモデルをローカル実行する。 自宅やオフィスのネットワーク上にあるほかのマシンへ、OpenAI互換のローカルエンドポイントを提供する。 Qwen、GLM、MiMo、DeepSeekのモデルパック間で、量子化品質や速度を比較する。

sushi のインストール方法は？

HomebrewでSushiをインストールする: brew install beamivalice/tap/sushi モデルパックを指定してサーバーを起動する（<pack>はREADMEに記載されているパック名に置き換えてください）: sushi serve <pack>

sushi はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/beamivalice/sushi