Repolode
投稿する
drumih

drumih/turbo-fieldfare

SSDからエキスパートをストリーミングし、約2 GBのメモリでApple Silicon Mac上で26B Gemma 4 26B-A4Bモデルを動かすSwift・Metalランタイム。

GitHub で見る
スター
6,944
フォーク
461
未解決の Issue
53
最終コミット
5 日前

これは何？

TurboFieldfareは、重み全体の14.3 GBをメモリに読み込まずに、指示チューニング済みのGemma 4 26B-A4Bモデルを実行します。共有コアの重みとFP16 KV cacheをメモリに常駐させ、各トークンに必要なルーティング先のエキスパートだけを、上限付きのエキスパートキャッシュを通じてSSDからストリーミングします。これにより、RAMが8 GBのApple Silicon Macでもモデルを実行できます。

このプロジェクトは、MLXやllama.cppのラッパーではなく、SwiftとMetalで書かれたモデル専用ランタイムです。固定されたHugging Faceチェックポイントをローカルの.gt​​urbo形式に再パックするストリーミングインストーラー、ネイティブMacアプリ、コマンドラインインターフェース、ループバック接続のOpenAI互換Chat Completionsサーバーを備えています。M2以降のチップでは、オプションのコンパニオンパックを使って画像入力も利用できます。

macOS 26、Metal 4、Swift 6.2が必要で、arm64 Macのみをサポートします。報告されているデコード速度は、RAM 8 GBのM2 MacBook Airで毎秒5.1～6.3トークン、RAM 24 GBのM5 Proで毎秒31～35トークンです。

主な機能

  • 01ルーティングされたエキスパートをSSDから上限付きキャッシュ経由でストリーミングし、重みとKV cacheのメモリ使用量を約2 GBに抑えます。
  • 02RAM 8 GBのApple Silicon Macで動作し、RAM 8 GBのM2 MacBook Airで検証済みです。
  • 03ネイティブMacアプリ、CLI、ループバック接続のOpenAI互換Chat Completionsサーバーを備えています。
  • 04ストリーミングインストーラーは、ディスク上に完全なコピーを一時保存せずにHugging Faceチェックポイントを再パックします。
  • 05サーバーでfunction-tool宣言をサポートし、ツール呼び出しをクライアントが実行できる形で返します。
  • 06オプションのコンパニオンパックにより、M2以降のチップで画像入力を利用できます。

ユースケース

  • クラウドを使わず、ベースモデルのRAM 8 GB MacBookで大規模なGemmaモデルをローカル実行する。
  • Apple Silicon上でエキスパートのストリーミングやMetalカーネルの設計を試す。
  • Chat Completions APIを想定するツール向けに、ローカルのOpenAI互換エンドポイントを提供する。
  • ネイティブMacアプリから、プライベートなオンデバイスモデルとチャットする。

クイックスタート

  1. 1

    リポジトリをクローンする

    git clone https://github.com/drumih/turbo-fieldfare.git
  2. 2

    プロジェクトディレクトリに移動する

    cd turbo-fieldfare
  3. 3

    リリース版をビルドする

    swift build -c release
  4. 4

    Macアプリを起動し、アプリ内でモデルをダウンロードして読み込む

    .build/release/TurboFieldfareMac

使う前に知っておきたいこと

  • Metal 4に対応したmacOS 26搭載のApple Silicon Macが必要です。Intel搭載Macと古いバージョンのmacOSはサポートされていません。
  • 初回起動時に、約15 GBのモデルウェイトをダウンロードしてインストールします。
  • スループットはハードウェアによって大きく異なり、8 GBのM2では低速です（約5～6 tok/s）。
  • ローカルサーバーにはリモート認証もTLSもないため、ループバックにバインドしたままにする必要があります。

トピック

#apple-silicon#metal#llm-inference#on-device-ai#gemma#swift#local-ai#gemma4#gemma4-26b-a4b#gpgpu

よくある質問

turbo-fieldfare とは？
SSDからエキスパートをストリーミングし、約2 GBのメモリでApple Silicon Mac上で26B Gemma 4 26B-A4Bモデルを動かすSwift・Metalランタイム。 TurboFieldfareは、重み全体の14.3 GBをメモリに読み込まずに、指示チューニング済みのGemma 4 26B-A4Bモデルを実行します。共有コアの重みとFP16 KV cacheをメモリに常駐させ、各トークンに必要なルーティング先のエキスパートだけを、上限付きのエキスパートキャッシュを通じてSSDからストリーミングします。これにより、RAMが8 GBのApple Silicon Macでもモデルを実行できます。
turbo-fieldfare は無料で使えますか？ライセンスは？
turbo-fieldfare は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
turbo-fieldfare は今もメンテナンスされていますか？
活発にメンテナンス中。turbo-fieldfare の最終コミットは 2026年10月15日 です。
turbo-fieldfare は何に使えますか？
クラウドを使わず、ベースモデルのRAM 8 GB MacBookで大規模なGemmaモデルをローカル実行する。 Apple Silicon上でエキスパートのストリーミングやMetalカーネルの設計を試す。 Chat Completions APIを想定するツール向けに、ローカルのOpenAI互換エンドポイントを提供する。 ネイティブMacアプリから、プライベートなオンデバイスモデルとチャットする。
turbo-fieldfare のインストール方法は？
リポジトリをクローンする: git clone https://github.com/drumih/turbo-fieldfare.git プロジェクトディレクトリに移動する: cd turbo-fieldfare リリース版をビルドする: swift build -c release Macアプリを起動し、アプリ内でモデルをダウンロードして読み込む: .build/release/TurboFieldfareMac
turbo-fieldfare はどこで入手できますか？
ソースコードとインストール手順は GitHub にあります：https://github.com/drumih/turbo-fieldfare

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト