Repolode
投稿する
incoai

incoai/splash

Apple silicon搭載Mac向けのローカルLLM推論エンジン。投機的デコードとMetalカーネルを使い、コーディングエージェントやOpenAI／Anthropic互換APIにモデルを提供します。

代替できる製品:LM Studio

GitHub で見る公式サイト
スター
1,593
フォーク
153
未解決の Issue
70
最終コミット
7 時間前

これは何？

Splashは、Apple silicon搭載Mac向けのローカル推論エンジンです。1台のマシン上で言語モデルを動かし、OpenAI Chat Completions、Responses、Completions、およびAnthropic Messages互換のエンドポイントを公開します。既存のコーディングエージェントやアプリケーションから、クラウドサービスの代わりにlocalhostへ接続できます。

DFlash 2による投機的デコードと、対応するモデルファミリーごとに作られたMetalカーネルを組み合わせ、メモリの割り当てを自動で計画します。また、再利用されるプロンプトのプレフィックスをキャッシュし、複数のリクエストをバッチ処理できるほか、画像入力、ツール呼び出し、JSON Schema形式の出力に対応し、チャットページも内蔵しています。対応モデルにはQwen3.8-27B、Qwen3.6-35B-A3B、Qwen3.8-Flash-Nextがあり、GGUFまたはMLXの量子化形式で利用できます。

Homebrewでインストールでき、`splash serve`コマンド1つでサーバーを起動できます。要件はApple M3以降のチップ、macOS 26.4以降、および4-bitの例を動かす場合は36 GB以上のユニファイドメモリです。

主な機能

  • 01ストリーミングとツール呼び出しに対応した、OpenAIおよびAnthropic互換APIを提供します。
  • 02モデルごとのMetalカーネルを使ったDFlash 2の投機的デコードを利用します。
  • 03メモリの割り当てを自動で計画し、リクエスト間でキャッシュ済みのプレフィックスを再利用します。
  • 04画像やPDFの入力に加え、JSON Schemaによる構造化出力に対応します。
  • 05チャットページを内蔵し、複数のコーディングエージェント向けランチャーを備えています。

ユースケース

  • opencodeやClaudeなどのコーディングエージェントを、自分のMac上のモデルで動かす。
  • クラウドAPIの利用料金をかけずに、OpenAIまたはAnthropic互換のエンドポイントを使ってアプリケーションを開発する。
  • プロンプトやコードをホスト型サービスに送信せず、ローカルマシンに保持する。

クイックスタート

  1. 1

    HomebrewでSplashをインストールします

    brew install incoai/tap/splash
  2. 2

    サーバーを起動してモデルをダウンロードします

    splash serve --model unsloth/Qwen3.8-27B-GGUF:UD-Q4_K_M
  3. 3

    Readyと表示されたら、ブラウザーで http://127.0.0.1:8000 を開きます

使う前に知っておきたいこと

  • M3以降のチップを搭載したApple silicon Macと、macOS 26.4以降が必要です。
  • 4-bitの例を実行するには、ユニファイドメモリが36 GB以上必要です。それより少ないメモリのMacでは、より小さいGGUFバリアントを使用してください。
  • 対応するモデルファミリーは限られており、全体がBF16またはF16のモデルには対応していません。

トピック

#llm-inference#apple-silicon#metal#local-llm#speculative-decoding#coding-agents#openai-compatible#macos

よくある質問

splash とは？
Apple silicon搭載Mac向けのローカルLLM推論エンジン。投機的デコードとMetalカーネルを使い、コーディングエージェントやOpenAI／Anthropic互換APIにモデルを提供します。 Splashは、Apple silicon搭載Mac向けのローカル推論エンジンです。1台のマシン上で言語モデルを動かし、OpenAI Chat Completions、Responses、Completions、およびAnthropic Messages互換のエンドポイントを公開します。既存のコーディングエージェントやアプリケーションから、クラウドサービスの代わりにlocalhostへ接続できます。
splash は無料で使えますか？ライセンスは？
splash は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
splash は今もメンテナンスされていますか？
活発にメンテナンス中。splash の最終コミットは 2026年10月20日 です。
splash は何に使えますか？
opencodeやClaudeなどのコーディングエージェントを、自分のMac上のモデルで動かす。 クラウドAPIの利用料金をかけずに、OpenAIまたはAnthropic互換のエンドポイントを使ってアプリケーションを開発する。 プロンプトやコードをホスト型サービスに送信せず、ローカルマシンに保持する。
splash のインストール方法は？
HomebrewでSplashをインストールします: brew install incoai/tap/splash サーバーを起動してモデルをダウンロードします: splash serve --model unsloth/Qwen3.8-27B-GGUF:UD-Q4_K_M Readyと表示されたら、ブラウザーで http://127.0.0.1:8000 を開きます
splash はどこで入手できますか？
ソースコードとインストール手順は GitHub にあります：https://github.com/incoai/splash

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト