deepseek-ai/DeepInfer

Что это?

Ключевые возможности

• 01Офлайн-инференс DeepSeek-V4.1-Flash с оптимизированными ядрами и средой выполнения семплера
• 02Параллелизм данных внимания, параллелизм контекста и параллелизм экспертов MoE с EPLB
• 03Спекулятивное декодирование DSpark с проверкой по расписанию на основе уверенности
• 04Асинхронное планирование батчей, совмещающее работу CPU с выполнением на устройстве
• 05Инференс с инвариантностью к размеру батча и детерминированный семплинг на GPU NVIDIA
• 06Структурированные выходные данные, ограниченные регулярными выражениями, JSON Schema или грамматикой EBNF

Сценарии использования

• Офлайн-инференс пакетных запросов с DeepSeek-V4.1-Flash на GPU NVIDIA SM100
• Генерация JSON и других выходных данных, соответствующих заданной схеме, с помощью большой модели
• Изучение того, как DeepSeek обслуживает модели MoE с параллелизмом экспертов и спекулятивным декодированием
• Развёртывание моделей DeepSeek на NPU Huawei Ascend 950

Быстрый старт

1. 1

   Создайте и активируйте пустое окружение Python 3.12

2. 2

   Выберите NVIDIA в качестве ускорителя

   export DEEPINFER_ACCELERATOR=nvidia
3. 3

   Соберите DeepInfer из исходного кода

   ./build.sh
4. 4

   Запустите инференс в офлайн-режиме (при первом запуске будет загружен чекпойнт по умолчанию)

   python examples/offline_inference.py

Что важно знать

• !Работает только на GPU NVIDIA SM100 или NPU Huawei Ascend 950; требуется Linux, CUDA 13 или CANN 9.2.
• !Поддерживается только модель DeepSeek-V4.1-Flash.
• !В этой версии с открытым исходным кодом отсутствуют система KV cache и разделение prefill/decode, поэтому она не является полноценным стеком serving.
• !Некоторые функции, например batch-invariant inference и детерминированная выборка, доступны только на NVIDIA.

Темы

Частые вопросы

Что такое DeepInfer?

Офлайн-фреймворк инференса с открытым исходным кодом от DeepSeek для запуска DeepSeek-V4.1-Flash на NVIDIA SM100 и Huawei Ascend 950. DeepInfer — фреймворк DeepSeek для обслуживания больших моделей DeepSeek. Этот релиз поддерживает офлайн-инференс DeepSeek-V4.1-Flash и включает оптимизированные ядра, среду выполнения модели и семплера, а также варианты параллелизма: параллелизм данных внимания, параллелизм контекста и параллелизм экспертов MoE с EPLB.

DeepInfer можно использовать бесплатно? Какая у него лицензия?

DeepInfer распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.

DeepInfer всё ещё поддерживается?

Активно поддерживается. Последний коммит в DeepInfer — 20 окт. 2026 г..

Для чего можно использовать DeepInfer?

Офлайн-инференс пакетных запросов с DeepSeek-V4.1-Flash на GPU NVIDIA SM100 Генерация JSON и других выходных данных, соответствующих заданной схеме, с помощью большой модели Изучение того, как DeepSeek обслуживает модели MoE с параллелизмом экспертов и спекулятивным декодированием Развёртывание моделей DeepSeek на NPU Huawei Ascend 950

Как установить DeepInfer?

Создайте и активируйте пустое окружение Python 3.12 Выберите NVIDIA в качестве ускорителя: export DEEPINFER_ACCELERATOR=nvidia Соберите DeepInfer из исходного кода: ./build.sh Запустите инференс в офлайн-режиме (при первом запуске будет загружен чекпойнт по умолчанию): python examples/offline_inference.py

Где скачать DeepInfer?

Исходный код и инструкции по установке — на GitHub: https://github.com/deepseek-ai/DeepInfer