Repolode
投稿する
ashhart

ashhart/TensorFold

PythonやMLXを使わず、Apple SiliconのMetalやNVIDIA CUDA GPUでモデルを配信する、Zig製のローカルLLM推論エンジン。

GitHub で見る公式サイト
スター
1,678
フォーク
357
未解決の Issue
145
最終コミット
6 時間前

これは何？

TensorFoldは、単一のZigバイナリとして動作するLLM推論サーバーです。モデルのチェックポイントを読み込み、リクエストをトークナイズしてMetalまたはCUDAのカーネルを直接実行するため、配信にPythonやMLXのインストールは必要ありません。Apple Silicon搭載MacとGB10システムを含むNVIDIA GPUを対象としており、OpenAI互換のchatおよびcompletionsエンドポイントに加え、Responses APIとAnthropic Messages APIを提供します。

プロジェクトでは、Hugging Faceのリビジョンを固定した、動作確認済みモデルのリストを管理しています。Qwen、Nemotron、GLM、Gemma、LFMなどのモデルファミリーが含まれます。各モデルには、対応ハードウェア、必要なメモリ、制限を記した個別のレシピがあります。リクエスト受付数の制限、コンテキストの圧縮、出力の完全一致を保証するオプションの投機的デコーディング、プロンプトキャッシュ、推論制御などの機能を備えています。

リポジトリには、macOS向けデスクトップワークスペース、学習した事実をモデルファイルに書き込む「Living Weights」実験、エージェント間の協調を軸にしたコントリビューター向けワークフローも含まれています。

主な機能

  • 01PythonやMLXを使わず、Metal（macOS）とCUDA（Linux）で単一のZigバイナリとして動作します。
  • 02OpenAI互換のchatおよびcompletions APIに加え、ResponsesとAnthropic Messagesのエンドポイントを提供します。
  • 03Hugging Faceから、リビジョンを固定してチェックサム検証を行いながらチェックポイントを取得します。
  • 04--parallel設定で同時リクエスト数を制限し、超過分をキューに入れます。
  • 05直近の会話をそのまま保持し、古い会話を要約するコンテキスト圧縮に対応します。
  • 06オプションの投機的デコーディングを利用できます。採用されたトークンは通常のデコーダー出力と一致します。

ユースケース

  • Apple Silicon搭載MacでオープンウェイトLLMをローカル実行する。
  • NVIDIA GPUサーバー上で、セルフホストのOpenAI互換エンドポイントを運用する。
  • 2台のGB10システム、または2台のMacにまたがって大規模チェックポイントを配信する。
  • 組み込みのベンチマークコマンドを使い、特定のハードウェアでモデルの品質と速度を評価する。

クイックスタート

  1. 1

    Apple Silicon搭載MacにHomebrewでTensorFoldをインストールする

    brew install ashhart/tensorfold/tensorfold
  2. 2

    指定バージョンのQwen3.5-2Bモデルの重みをダウンロードする

    tensorfold pull mlx-community/Qwen3.5-2B-MLX-4bit@93760be4f1f69842a46bc13dbdc0f19e291392a3
  3. 3

    ローカルモデルサーバーを起動する

    tensorfold serve mlx-community/Qwen3.5-2B-MLX-4bit --name local-model --context 8192 --no-thinking

使う前に知っておきたいこと

  • ネイティブでのサービングは、Apple SiliconのMetalとNVIDIA CUDA GPUのみを対象としています。
  • 一部のモデルパスは実験的であり、READMEには一部のチェックポイントに関する既知の問題が記載されています。
  • モデルの重みには、Apache-2.0のエンジンライセンスとは別のライセンスが適用されます。

収録されている特集

LLM をローカルで動かすオープンソースの Mac アプリ

トピック

#llm-inference#metal#cuda#zig#local-llm#openai-compatible#apple-silicon#ai#ai-tools#llm

よくある質問

TensorFold とは？
PythonやMLXを使わず、Apple SiliconのMetalやNVIDIA CUDA GPUでモデルを配信する、Zig製のローカルLLM推論エンジン。 TensorFoldは、単一のZigバイナリとして動作するLLM推論サーバーです。モデルのチェックポイントを読み込み、リクエストをトークナイズしてMetalまたはCUDAのカーネルを直接実行するため、配信にPythonやMLXのインストールは必要ありません。Apple Silicon搭載MacとGB10システムを含むNVIDIA GPUを対象としており、OpenAI互換のchatおよびcompletionsエンドポイントに加え、Responses APIとAnthropic Messages APIを提供します。
TensorFold は無料で使えますか？ライセンスは？
TensorFold は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
TensorFold は今もメンテナンスされていますか？
活発にメンテナンス中。TensorFold の最終コミットは 2026年11月6日 です。
TensorFold は何に使えますか？
Apple Silicon搭載MacでオープンウェイトLLMをローカル実行する。 NVIDIA GPUサーバー上で、セルフホストのOpenAI互換エンドポイントを運用する。 2台のGB10システム、または2台のMacにまたがって大規模チェックポイントを配信する。 組み込みのベンチマークコマンドを使い、特定のハードウェアでモデルの品質と速度を評価する。
TensorFold のインストール方法は？
Apple Silicon搭載MacにHomebrewでTensorFoldをインストールする: brew install ashhart/tensorfold/tensorfold 指定バージョンのQwen3.5-2Bモデルの重みをダウンロードする: tensorfold pull mlx-community/Qwen3.5-2B-MLX-4bit@93760be4f1f69842a46bc13dbdc0f19e291392a3 ローカルモデルサーバーを起動する: tensorfold serve mlx-community/Qwen3.5-2B-MLX-4bit --name local-model --context 8192 --no-thinking
TensorFold はどこで入手できますか？
ソースコードとインストール手順は GitHub にあります：https://github.com/ashhart/TensorFold

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト