Repolode
投稿する
bertholomus

bertholomus/deepseek-v4.1-tensorfold-tp2-2xgb10

TensorFold TP2エンジンを使い、2台のNVIDIA DGX Spark（GB10）ノードにまたがるテンソル並列でDeepSeek-V4.1-Flash-1017を提供するためのレシピです。

GitHub で見る公式サイト
スター
66
フォーク
6
未解決の Issue
13
最終コミット
3 日前

これは何？

このリポジトリは、2台のNVIDIA DGX Spark（GB10）ノードでDeepSeek-V4.1-Flash-1017を提供するためのレシピです。モデルをテンソル並列（TP2）で2台のマシンに分割し、作者らが開発したTensorFoldベースのエンジンで実行します。このエンジンは、リクエストごとに1,048,576トークンのコンテキストウィンドウを持つサーバーを公開します。

重みは同じ作者らが別途公開している2.5 bpwのEXL3量子化モデルで、2台のノードに収まります。このリポジトリ自体に重みは含まれておらず、エンジンのビルド手順、カーネルキット、設定例、起動スクリプト（serve.shとconfig.env.example）が含まれています。サーバー機能として、構造化出力、強制および自動のツール呼び出し、画像入力、長い会話を再開するためのプロンプト状態の保持が説明されています。

このプロジェクトでは、2ノード構成で測定したデコードとプリフィルのスループットを、各バージョンを比較するリリースノートとともに記録しています。このテンソル並列構成は、同じ作者らによる別の4ノード向けレシピに対応する2ノード版です。

主な機能

  • 012台のDGX Spark（GB10）ノードにまたがるテンソル並列でDeepSeek-V4.1-Flash-1017を提供します。
  • 02リクエストごとに1,048,576トークンのコンテキストウィンドウを利用できます。
  • 03DeepSeekのDSML形式による構造化出力とツール呼び出しに対応します。
  • 04ビジョンタワーを通じた画像入力に対応します。
  • 05起動スクリプト、設定例、カーネルキットが含まれています。

ユースケース

  • GB10クラスのマシン2台で、大規模なDeepSeekモデルをローカル実行する。
  • 長いコンテキストのプロンプトを処理し、保存した状態から大規模な会話を再開する。
  • DGX Sparkハードウェアで、テンソル並列のデコードとプリフィルのスループットをベンチマークする。

クイックスタート

  1. 1

    エンジンのビルド、重み、実行時入力については RUNNING.md を読んでください

  2. 2

    config.env.example をもとに config.env を設定し、両方のノードで scripts/serve.sh を起動してください

使う前に知っておきたいこと

  • tensor-parallel 構成には NVIDIA DGX Spark (GB10) ノードが2台必要です。
  • 重みは含まれていないため、Hugging Face から別途入手する必要があります。
  • Engram テーブルは、DeepSeek のオリジナルのシャード 47 と 48 から実行時に読み込まれます。

収録されている特集

GPU で AI を学習・実行するツール

トピック

#llm#tensor-parallelism#inference#deepseek#model-serving#quantization#nvidia#gpu

よくある質問

deepseek-v4.1-tensorfold-tp2-2xgb10 とは？
TensorFold TP2エンジンを使い、2台のNVIDIA DGX Spark（GB10）ノードにまたがるテンソル並列でDeepSeek-V4.1-Flash-1017を提供するためのレシピです。 このリポジトリは、2台のNVIDIA DGX Spark（GB10）ノードでDeepSeek-V4.1-Flash-1017を提供するためのレシピです。モデルをテンソル並列（TP2）で2台のマシンに分割し、作者らが開発したTensorFoldベースのエンジンで実行します。このエンジンは、リクエストごとに1,048,576トークンのコンテキストウィンドウを持つサーバーを公開します。
deepseek-v4.1-tensorfold-tp2-2xgb10 は無料で使えますか？ライセンスは？
deepseek-v4.1-tensorfold-tp2-2xgb10 は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
deepseek-v4.1-tensorfold-tp2-2xgb10 は今もメンテナンスされていますか？
活発にメンテナンス中。deepseek-v4.1-tensorfold-tp2-2xgb10 の最終コミットは 2026年11月4日 です。
deepseek-v4.1-tensorfold-tp2-2xgb10 は何に使えますか？
GB10クラスのマシン2台で、大規模なDeepSeekモデルをローカル実行する。 長いコンテキストのプロンプトを処理し、保存した状態から大規模な会話を再開する。 DGX Sparkハードウェアで、テンソル並列のデコードとプリフィルのスループットをベンチマークする。
deepseek-v4.1-tensorfold-tp2-2xgb10 のインストール方法は？
エンジンのビルド、重み、実行時入力については RUNNING.md を読んでください config.env.example をもとに config.env を設定し、両方のノードで scripts/serve.sh を起動してください
deepseek-v4.1-tensorfold-tp2-2xgb10 はどこで入手できますか？
ソースコードとインストール手順は GitHub にあります：https://github.com/bertholomus/deepseek-v4.1-tensorfold-tp2-2xgb10

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト