DeepSeek-V4.1-Flash-vLLM-DGX-Spark は無料で使えますか？ライセンスは？

DeepSeek-V4.1-Flash-vLLM-DGX-Spark は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

DeepSeek-V4.1-Flash-vLLM-DGX-Spark は今もメンテナンスされていますか？

活発にメンテナンス中。DeepSeek-V4.1-Flash-vLLM-DGX-Spark の最終コミットは 2026年10月19日です。

DeepSeek-V4.1-Flash-vLLM-DGX-Spark は何に使えますか？

GB10マシンの小規模なローカルクラスターで、非常に大規模なオープンウェイトMoEモデルを動かす。同様の構成を採用する前に、公開されているスループットとレイテンシの数値を再現する。同一のハードウェアで推論エンジン（TensorFold、vLLM）と量子化形式を比較する。 RDMAネットワークを使って、大規模なモデルをノード間に分割する方法を調べる。

DeepSeek-V4.1-Flash-vLLM-DGX-Spark はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/tonyd2wild/DeepSeek-V4.1-Flash-vLLM-DGX-Spark

tonyd2wild/DeepSeek-V4.1-Flash-vLLM-DGX-Spark

TensorFoldとvLLMを使い、4台のNVIDIA DGX SparkでDeepSeek-V4.1-Flash（552B MoE）を動かして測定した記録。

GitHub で見る

スター: 131
フォーク: 21
未解決の Issue: 0
最終コミット: 一昨日

これは何？

このリポジトリでは、NVIDIA DGX Spark（GB10）マシンのクラスター上で、552Bパラメーターのmixture-of-expertsモデルDeepSeek-V4.1-Flash-1017を動かす方法を解説しています。「lane」ごとに構成をまとめており、各laneには推論エンジン、量子化済み重みパック、ノード数、起動スクリプト、ベンチマーク結果が含まれます。主なlaneでは、TensorFoldのネイティブエンジンとLibertAIのEXL3量子化済み重みを使い、4台または2台のSparkで1Mトークンのコンテキストウィンドウを実現します。旧版のvLLM laneもパッチやベンチマークとともに残されています。

各laneの実行フォルダーには、報告されている数値の測定に使ったスクリプト、設定、ログ、結果が含まれています。測定項目には、並行処理数ごとのtokens per second、コールド時のprefill速度、69シナリオのtool-calling評価などがあります。オプションのuncensored版では、attention出力重みにabliteration overlayを適用し、標準laneとの速度および安全性評価の差を報告しています。

このプロジェクトは、ローカルのマルチノードGB10ハードウェアで非常に大規模なオープンウェイトモデルを動かしたい開発者や、モデルカードだけでなく再現可能な構成を求める開発者を対象としています。

主な機能

014台または2台のDGX Sparkノードにまたがるtensor parallelismで、DeepSeek-V4.1-Flash-1017を動かせます。
02設定ファイルの説明を含む、TensorFoldとvLLMの起動スクリプトを提供します。
03各laneについて、スループット、初回トークンまでの時間、prefill速度のベンチマーク表を収録しています。
04TensorFold TP4 laneでは、1,048,576トークンのコンテキストウィンドウをサポートします。
05OpenAI互換エンドポイントを通じて、チャット、tool calling、thinking mode、画像入力に対応します。
06各laneの結果とともに、69シナリオのtool-use評価を公開しています。

ユースケース

GB10マシンの小規模なローカルクラスターで、非常に大規模なオープンウェイトMoEモデルを動かす。
同様の構成を採用する前に、公開されているスループットとレイテンシの数値を再現する。
同一のハードウェアで推論エンジン（TensorFold、vLLM）と量子化形式を比較する。
RDMAネットワークを使って、大規模なモデルをノード間に分割する方法を調べる。

トピック

#llm-inference #deepseek #vllm #tensor-parallelism #quantization #exl3 #nvidia-dgx-spark #moe

よくある質問

DeepSeek-V4.1-Flash-vLLM-DGX-Spark とは？: TensorFoldとvLLMを使い、4台のNVIDIA DGX SparkでDeepSeek-V4.1-Flash（552B MoE）を動かして測定した記録。このリポジトリでは、NVIDIA DGX Spark（GB10）マシンのクラスター上で、552Bパラメーターのmixture-of-expertsモデルDeepSeek-V4.1-Flash-1017を動かす方法を解説しています。「lane」ごとに構成をまとめており、各laneには推論エンジン、量子化済み重みパック、ノード数、起動スクリプト、ベンチマーク結果が含まれます。主なlaneでは、TensorFoldのネイティブエンジンとLibertAIのEXL3量子化済み重みを使い、4台または2台のSparkで1Mトークンのコンテキストウィンドウを実現します。旧版のvLLM laneもパッチやベンチマークとともに残されています。
DeepSeek-V4.1-Flash-vLLM-DGX-Spark は無料で使えますか？ライセンスは？: DeepSeek-V4.1-Flash-vLLM-DGX-Spark は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
DeepSeek-V4.1-Flash-vLLM-DGX-Spark は今もメンテナンスされていますか？: 活発にメンテナンス中。DeepSeek-V4.1-Flash-vLLM-DGX-Spark の最終コミットは 2026年10月19日です。
DeepSeek-V4.1-Flash-vLLM-DGX-Spark は何に使えますか？: GB10マシンの小規模なローカルクラスターで、非常に大規模なオープンウェイトMoEモデルを動かす。同様の構成を採用する前に、公開されているスループットとレイテンシの数値を再現する。同一のハードウェアで推論エンジン（TensorFold、vLLM）と量子化形式を比較する。 RDMAネットワークを使って、大規模なモデルをノード間に分割する方法を調べる。
DeepSeek-V4.1-Flash-vLLM-DGX-Spark はどこで入手できますか？: ソースコードとインストール手順は GitHub にあります：https://github.com/tonyd2wild/DeepSeek-V4.1-Flash-vLLM-DGX-Spark

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。