Repolode
投稿する
MiaAI-Lab

MiaAI-Lab/DeepSeek-V4.1-Flash-1017-4x-DGX-Sparks-TensorFold

4台のNVIDIA DGX Sparkでテンソル並列によりDeepSeek-V4.1-Flash-1017を提供し、OpenAI互換APIとスイッチ不要のリング構成に対応します。

GitHub で見る公式サイト
スター
62
フォーク
22
未解決の Issue
11
最終コミット
3 日前

これは何？

DeepSeekのDeepSeek-V4.1-Flash-1017チェックポイントを、公開されているFP8およびMXFP4形式のまま、ConnectX-7ポートで接続した4台のNVIDIA DGX Spark（GB10、各128 GB）に分割し、全ノードでテンソル並列を使って提供するレシピです。ポート8888でOpenAI互換APIを公開し、テキスト、画像、動画の入力を受け付けます。ツール呼び出しに対応し、リクエストごとに思考のオン・オフを切り替えられます。

RoCEスイッチを使わずSpark同士をリング状にケーブル接続する構成（start-switchless.sh）と、通常のスイッチ接続ネットワーク（start.sh）のどちらでも動作します。スクリプトは4台すべてを準備し、最初のノードでチェックポイントを一度だけダウンロードして、NFS経由で重みを共有し、各ランクを起動します。オプション機能として、response_formatまたはguided_*パラメーターによる構造化出力、チェックポイントのドラフトブロックを使うDSpark投機的デコード、オプトイン方式のNVFP4またはabliterated重みバリアントがあります。

エンジンはTensorFoldのネイティブなZig実装であり、その上にDeepSeek-V4.1ファミリーを構築しています。また、複数のパッチをこのリポジトリで管理しています。

主な機能

  • 014台のDGX Sparkにまたがるテンソル並列でDeepSeek-V4.1-Flash-1017を実行します。
  • 02画像および動画入力に対応したOpenAI互換のチャットAPIを提供します。
  • 03JSON Schemaまたは文法制約によるツール呼び出しと構造化出力に対応します。
  • 04スイッチ不要のSparkリング構成と、スイッチを介したRoCEネットワークの両方で動作します。
  • 05チェックポイントのドラフトブロックを使うDSpark投機的デコードを備えています。

ユースケース

  • DGX Sparkの小規模クラスターで大規模なDeepSeekモデルをセルフホストする。
  • 画像や動画入力に対応したマルチモーダルチャットを、OpenAI形式のクライアント向けに提供する。
  • ローカルのGB10ハードウェアで、長いコンテキストを使うリクエストを並行処理する。

クイックスタート

  1. 1

    spark1 でリポジトリをクローンします

    git clone https://github.com/MiaAI-Lab/DeepSeek-V4.1-Flash-1017-4x-DGX-Sparks-TensorFold.git
  2. 2

    ディレクトリに移動し、ローカル設定ファイルを作成します

    cd DeepSeek-V4.1-Flash-1017-4x-DGX-Sparks-TensorFold && cp scripts/local.sh.example scripts/local.sh
  3. 3

    scripts/local.sh の WORKER、WORKER2、WORKER3 をそれぞれ spark2、spark3、spark4 に設定します

  4. 4

    リング構成を開始します（Sparks がスイッチに接続されている場合は、代わりに ./start.sh を使用してください）

    ./start-switchless.sh

使う前に知っておきたいこと

  • ConnectX-7 ポート経由で接続された NVIDIA DGX Sparks が 4 台（各 128 GB）必要なため、一般的なハードウェアでは実用的ではありません。
  • チェックポイントと重みファイル用に spark1 に約 830 GB のディスク容量が必要です。また、各 Spark に約 100 GB の空きメモリが必要です。
  • フォークされた推論エンジン（TensorFold ブランチ）と一連のローカルパッチをベースにしているため、メンテナンスとセットアップが複雑になります。

トピック

#llm#inference#tensor-parallelism#deepseek#openai-compatible-api#nvidia-dgx#speculative-decoding

よくある質問

DeepSeek-V4.1-Flash-1017-4x-DGX-Sparks-TensorFold とは？
4台のNVIDIA DGX Sparkでテンソル並列によりDeepSeek-V4.1-Flash-1017を提供し、OpenAI互換APIとスイッチ不要のリング構成に対応します。 DeepSeekのDeepSeek-V4.1-Flash-1017チェックポイントを、公開されているFP8およびMXFP4形式のまま、ConnectX-7ポートで接続した4台のNVIDIA DGX Spark（GB10、各128 GB）に分割し、全ノードでテンソル並列を使って提供するレシピです。ポート8888でOpenAI互換APIを公開し、テキスト、画像、動画の入力を受け付けます。ツール呼び出しに対応し、リクエストごとに思考のオン・オフを切り替えられます。
DeepSeek-V4.1-Flash-1017-4x-DGX-Sparks-TensorFold は無料で使えますか？ライセンスは？
DeepSeek-V4.1-Flash-1017-4x-DGX-Sparks-TensorFold は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
DeepSeek-V4.1-Flash-1017-4x-DGX-Sparks-TensorFold は今もメンテナンスされていますか？
活発にメンテナンス中。DeepSeek-V4.1-Flash-1017-4x-DGX-Sparks-TensorFold の最終コミットは 2026年11月4日 です。
DeepSeek-V4.1-Flash-1017-4x-DGX-Sparks-TensorFold は何に使えますか？
DGX Sparkの小規模クラスターで大規模なDeepSeekモデルをセルフホストする。 画像や動画入力に対応したマルチモーダルチャットを、OpenAI形式のクライアント向けに提供する。 ローカルのGB10ハードウェアで、長いコンテキストを使うリクエストを並行処理する。
DeepSeek-V4.1-Flash-1017-4x-DGX-Sparks-TensorFold のインストール方法は？
spark1 でリポジトリをクローンします: git clone https://github.com/MiaAI-Lab/DeepSeek-V4.1-Flash-1017-4x-DGX-Sparks-TensorFold.git ディレクトリに移動し、ローカル設定ファイルを作成します: cd DeepSeek-V4.1-Flash-1017-4x-DGX-Sparks-TensorFold && cp scripts/local.sh.example scripts/local.sh scripts/local.sh の WORKER、WORKER2、WORKER3 をそれぞれ spark2、spark3、spark4 に設定します リング構成を開始します（Sparks がスイッチに接続されている場合は、代わりに ./start.sh を使用してください）: ./start-switchless.sh
DeepSeek-V4.1-Flash-1017-4x-DGX-Sparks-TensorFold はどこで入手できますか？
ソースコードとインストール手順は GitHub にあります：https://github.com/MiaAI-Lab/DeepSeek-V4.1-Flash-1017-4x-DGX-Sparks-TensorFold

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト