Repolode
投稿する
MiaAI-Lab

MiaAI-Lab/DeepSeek-v4.1-Flash-1017-2x-DGX-Sparks

DeepSeek-V4.1-Flash-1017（EXL3 2.9 bpw）を2台のNVIDIA DGX Sparksで配信し、1Mトークンのコンテキストに対応したOpenAI互換APIを提供するレシピ。

GitHub で見る公式サイト
スター
134
フォーク
21
未解決の Issue
7
最終コミット
9 時間前

これは何？

このリポジトリは、直接接続したConnectX-7ケーブルで連結した2台のNVIDIA DGX Sparks（GB10、各128 GB）にモデルを分割して実行するデプロイレシピです。TensorFoldのネイティブZigエンジン上で、2.9 bitのEXL3量子化チェックポイントを使い、各マシンに1ランクずつ割り当ててテンソル並列度2で実行します。1台目のSparkで単一のスクリプトを実行すると、両方のマシンをセットアップし、重みをダウンロードして、両ランクを起動します。

配信するAPIはポート8888でOpenAI互換のエンドポイントを提供し、1,048,576トークンのコンテキストウィンドウ、画像入力、ツール呼び出し、リクエストごとに切り替え可能な思考モードに対応します。また、チェックポイント自身のドラフトブロックを使ったDSpark speculative decodingも利用します。オプション設定では、アクセス制限付きのオーバーレイを通じてabliterated版を有効にできます。さらに、メモリウォッチドッグがマシンのフリーズを防ぐため、ランクを停止します。

リポジトリにはベンチマーク、検証、出力比較用のスクリプトに加え、Spark 2台構成で測定したprefillとdecodeのスループット、および長いコンテキストでのメモリ制限に関するメモが含まれています。

主な機能

  • 01ポート8888で、1,048,576トークンのウィンドウに対応したOpenAI互換APIを提供します。
  • 02直接接続したConnectX-7経由で、テンソル並列度2によりモデルを2台のDGX Sparksに分割して実行します。
  • 03画像入力、ツール呼び出し、リクエストごとの思考モードのオン・オフに対応します。
  • 04チェックポイントのドラフトブロックを使ったDSpark speculative decodingを利用します。
  • 05空きメモリが少なくなるとランクを停止するメモリウォッチドッグを備えています。

ユースケース

  • GB10クラスのマシン2台で、長いコンテキストに対応したローカルLLM APIを実行する。
  • 2.9 bitのEXL3量子化DeepSeekモデルを、非量子化時の挙動と比較評価する。
  • ツール呼び出しと画像入力が必要なエージェント向けに、OpenAIクライアント互換のエンドポイントを提供する。
  • 2台のマシンにまたがるテンソル並列推論の設定方法を調べる。

クイックスタート

  1. 1

    ヘッド Spark に Hugging Face CLI をインストールする

    pip install -U huggingface_hub
  2. 2

    両方の Spark をセットアップし、ヘッド Spark から rank を起動する

    ./start.sh
  3. 3

    完了したら両方の rank を停止する

    ./stop.sh

使う前に知っておきたいこと

  • 直接接続の ConnectX-7 ケーブルで接続した NVIDIA DGX Spark が2台（または各128 GBの GB10 システムが2台）必要です。
  • 2.9 bpw の量子化は実験的なもので、非量子化モデルとの perplexity または KL の測定値はありません。
  • チェックポイントに約196 GiB、ローカルディスク上の追加テーブルに約203 GBが必要で、長いコンテキストには非常に大容量のメモリが必要です。

トピック

#llm-inference#tensor-parallelism#quantization#openai-compatible-api#deepseek#exllama#speculative-decoding#dgx-spark

よくある質問

DeepSeek-v4.1-Flash-1017-2x-DGX-Sparks とは？
DeepSeek-V4.1-Flash-1017（EXL3 2.9 bpw）を2台のNVIDIA DGX Sparksで配信し、1Mトークンのコンテキストに対応したOpenAI互換APIを提供するレシピ。 このリポジトリは、直接接続したConnectX-7ケーブルで連結した2台のNVIDIA DGX Sparks（GB10、各128 GB）にモデルを分割して実行するデプロイレシピです。TensorFoldのネイティブZigエンジン上で、2.9 bitのEXL3量子化チェックポイントを使い、各マシンに1ランクずつ割り当ててテンソル並列度2で実行します。1台目のSparkで単一のスクリプトを実行すると、両方のマシンをセットアップし、重みをダウンロードして、両ランクを起動します。
DeepSeek-v4.1-Flash-1017-2x-DGX-Sparks は無料で使えますか？ライセンスは？
DeepSeek-v4.1-Flash-1017-2x-DGX-Sparks は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
DeepSeek-v4.1-Flash-1017-2x-DGX-Sparks は今もメンテナンスされていますか？
活発にメンテナンス中。DeepSeek-v4.1-Flash-1017-2x-DGX-Sparks の最終コミットは 2026年10月20日 です。
DeepSeek-v4.1-Flash-1017-2x-DGX-Sparks は何に使えますか？
GB10クラスのマシン2台で、長いコンテキストに対応したローカルLLM APIを実行する。 2.9 bitのEXL3量子化DeepSeekモデルを、非量子化時の挙動と比較評価する。 ツール呼び出しと画像入力が必要なエージェント向けに、OpenAIクライアント互換のエンドポイントを提供する。 2台のマシンにまたがるテンソル並列推論の設定方法を調べる。
DeepSeek-v4.1-Flash-1017-2x-DGX-Sparks のインストール方法は？
ヘッド Spark に Hugging Face CLI をインストールする: pip install -U huggingface_hub 両方の Spark をセットアップし、ヘッド Spark から rank を起動する: ./start.sh 完了したら両方の rank を停止する: ./stop.sh
DeepSeek-v4.1-Flash-1017-2x-DGX-Sparks はどこで入手できますか？
ソースコードとインストール手順は GitHub にあります：https://github.com/MiaAI-Lab/DeepSeek-v4.1-Flash-1017-2x-DGX-Sparks

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト