carloslfu/slotstream

これは何？

主な機能

• 01mixture-of-expertsの重みをSSDから上限付きのエキスパート用メモリキャッシュにストリーミングします。
• 02Macに合わせてキャッシュサイズ、コンテキストウィンドウ、投機的デコーディングを自動で設定します。
• 03ローカルアプリ向けにOllama・OpenAI・Anthropic互換のAPIを提供します。
• 041つのコマンドでClaude Code、Codex、Pi、opencode、Hermesをローカルモデルに接続して起動できます。
• 05ネイティブアプリにエンジンを組み込むためのSwiftライブラリを提供します。
• 06モデルのダウンロード後は完全オフラインで動作します。

ユースケース

• RAMに収まらない大規模なオープンウェイトモデルを、16〜64 GBのMacで実行する。
• ローカルモデルでClaude CodeやCodexを使い、コードを自分のマシン内にとどめる。
• Open WebUIなどのローカルチャットフロントエンドを、オフラインのモデルサーバーに接続する。
• Swiftで開発したネイティブmacOSアプリにローカルLLMを組み込む。

クイックスタート

1. 1

   READMEに記載されている公式インストールスクリプトを実行する

2. 2

   Macのメモリとディスク空き容量を確認する

   slotstream doctor
3. 3

   モデルに最初の応答を求める（初回起動時にモデルがダウンロードされます）

   slotstream run --prompt "Why is the sky blue?"

使う前に知っておきたいこと

• !Apple Silicon搭載のmacOS 14以降のMacでのみ動作します。Windows、Linux、Intel Macには対応していません。
• !デフォルトのモデルを使用するには、16 GB以上のメモリと約110 GBのSSD空き容量が必要です。
• !初回起動時に約105 GBのモデルをダウンロードするため、数時間かかる場合があります。
• !Slotstreamが維持しているモデルは、Qwen3.8-Flash-Next 4-bitの1つのみです。

収録されている特集

トピック

よくある質問

slotstream とは？

SSDからエキスパートをストリーミングすることで、16〜64 GBのApple Silicon Mac上で105 GBのQwen3.8-Flash-Next 4-bitモデルを実行するネイティブSwiftエンジン。 Slotstreamは、AppleのMLXとMetalを基盤にSwiftで開発された、Apple Silicon Mac向けのローカル推論エンジンです。システムRAMを大幅に超える重みを持つmixture-of-expertsモデルを実行します。共有重みはメモリに保持し、各トークンに必要なエキスパートをSSDから上限付きキャッシュに読み込み、頻繁に使うエキスパートはRAMに保持します。モデルをダウンロードした後は、Pythonランタイムやクラウドアカウントなしで、Mac上ですべての推論を実行できます。

slotstream は無料で使えますか？ライセンスは？

slotstream は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

slotstream は今もメンテナンスされていますか？

活発にメンテナンス中。slotstream の最終コミットは 2026年11月4日 です。

slotstream は何に使えますか？

RAMに収まらない大規模なオープンウェイトモデルを、16〜64 GBのMacで実行する。 ローカルモデルでClaude CodeやCodexを使い、コードを自分のマシン内にとどめる。 Open WebUIなどのローカルチャットフロントエンドを、オフラインのモデルサーバーに接続する。 Swiftで開発したネイティブmacOSアプリにローカルLLMを組み込む。

slotstream のインストール方法は？

READMEに記載されている公式インストールスクリプトを実行する Macのメモリとディスク空き容量を確認する: slotstream doctor モデルに最初の応答を求める（初回起動時にモデルがダウンロードされます）: slotstream run --prompt "Why is the sky blue?"

slotstream はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/carloslfu/slotstream