Repolode
投稿する
deepseek-ai

deepseek-ai/DeepInfer

DeepSeekが開発するオープンソースのオフライン推論フレームワーク。NVIDIA SM100とHuawei Ascend 950でDeepSeek-V4.1-Flashを実行できます。

GitHub で見る
スター
8,284
フォーク
697
未解決の Issue
78
最終コミット
7 時間前

これは何？

DeepInferは、大規模なDeepSeekモデルをサービングするためのDeepSeek製推論フレームワークです。このリリースでは、最適化カーネル、モデルとサンプラーのランタイム、attention data parallelism、context parallelism、EPLBによるMoE expert parallelismなどの並列化オプションを備えた、DeepSeek-V4.1-Flashのオフライン推論に対応しています。

フレームワークには、信頼度に応じて検証をスケジュールする投機的デコード（DSpark）、デコーダーのprefill処理を削減する範囲限定のSWA replay、CPUでのスケジューリングとデバイス実行を並行させる非同期バッチスケジューラーが含まれます。また、バッチ不変推論、決定論的サンプリング、正規表現・JSON schema・EBNF文法で制約した構造化出力にも対応しています。

DeepInferは、NVIDIA GPUではPython 3.12とCUDA 13、Ascend NPUではCANN 9.2を使用するLinux環境で動作します。このリリースにはKV cacheシステムとprefill/decodeの分離機能が含まれていません。本番サービスを完成させるには、これらの機能が必要です。

主な機能

  • 01最適化カーネルとサンプラーランタイムを備えたDeepSeek-V4.1-Flashのオフライン推論
  • 02attention data parallelism、context parallelism、EPLBによるMoE expert parallelism
  • 03信頼度に応じて検証をスケジュールするDSpark投機的デコード
  • 04CPU処理とデバイス実行を並行させる非同期バッチスケジューリング
  • 05NVIDIA GPUでのバッチ不変推論と決定論的サンプリング
  • 06正規表現、JSON schema、EBNF文法で制約した構造化出力

ユースケース

  • NVIDIA SM100 GPUでDeepSeek-V4.1-Flashのオフラインバッチ推論を実行する
  • 大規模モデルからJSONなどのスキーマ制約付き出力を生成する
  • DeepSeekがexpert parallelismと投機的デコードを使ってMoEモデルをどのようにサービングするかを調べる
  • Huawei Ascend 950 NPUにDeepSeekモデルをデプロイする

クイックスタート

  1. 1

    空の Python 3.12 環境を作成して有効化する

  2. 2

    アクセラレーターを NVIDIA に設定する

    export DEEPINFER_ACCELERATOR=nvidia
  3. 3

    DeepInfer をソースからビルドする

    ./build.sh
  4. 4

    オフライン推論を実行する（初回実行時にデフォルトのチェックポイントをダウンロード）

    python examples/offline_inference.py

使う前に知っておきたいこと

  • NVIDIA SM100 GPU または Huawei Ascend 950 NPU のみで動作し、Linux、CUDA 13 または CANN 9.2 が必要です。
  • DeepSeek-V4.1-Flash モデルのみをサポートします。
  • このオープンソース版には KV cache システムと prefill/decode の分離が含まれていないため、完全な serving stack ではありません。
  • batch-invariant inference や deterministic sampling など、一部の機能は NVIDIA 専用です。

トピック

#llm-inference#deepseek#moe#speculative-decoding#gpu#structured-output#cuda#ascend

よくある質問

DeepInfer とは？
DeepSeekが開発するオープンソースのオフライン推論フレームワーク。NVIDIA SM100とHuawei Ascend 950でDeepSeek-V4.1-Flashを実行できます。 DeepInferは、大規模なDeepSeekモデルをサービングするためのDeepSeek製推論フレームワークです。このリリースでは、最適化カーネル、モデルとサンプラーのランタイム、attention data parallelism、context parallelism、EPLBによるMoE expert parallelismなどの並列化オプションを備えた、DeepSeek-V4.1-Flashのオフライン推論に対応しています。
DeepInfer は無料で使えますか？ライセンスは？
DeepInfer は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。
DeepInfer は今もメンテナンスされていますか？
活発にメンテナンス中。DeepInfer の最終コミットは 2026年10月20日 です。
DeepInfer は何に使えますか？
NVIDIA SM100 GPUでDeepSeek-V4.1-Flashのオフラインバッチ推論を実行する 大規模モデルからJSONなどのスキーマ制約付き出力を生成する DeepSeekがexpert parallelismと投機的デコードを使ってMoEモデルをどのようにサービングするかを調べる Huawei Ascend 950 NPUにDeepSeekモデルをデプロイする
DeepInfer のインストール方法は？
空の Python 3.12 環境を作成して有効化する アクセラレーターを NVIDIA に設定する: export DEEPINFER_ACCELERATOR=nvidia DeepInfer をソースからビルドする: ./build.sh オフライン推論を実行する（初回実行時にデフォルトのチェックポイントをダウンロード）: python examples/offline_inference.py
DeepInfer はどこで入手できますか？
ソースコードとインストール手順は GitHub にあります：https://github.com/deepseek-ai/DeepInfer

概要はプロジェクトの README をもとに AI が生成しています。GitHub の数値は毎日更新されます。

関連プロジェクト