Repolode
Предложить
MiaAI-Lab

MiaAI-Lab/DeepSeek-V4.1-Flash-1017-4x-DGX-Sparks-TensorFold

Запускает DeepSeek-V4.1-Flash-1017 на четырёх NVIDIA DGX Sparks с тензорным параллелизмом и OpenAI-совместимым API, включая вариант с кольцевым соединением без коммутатора.

Открыть на GitHubСайт
Звёзды
62
Форки
22
Открытые issues
11
Последний коммит
3 дня назад

Что это?

Этот рецепт запускает опубликованный чекпойнт DeepSeek DeepSeek-V4.1-Flash-1017 в форматах FP8 и MXFP4, распределяя его между четырьмя NVIDIA DGX Sparks (GB10, по 128 ГБ) и используя тензорный параллелизм на всех четырёх узлах, соединённых через порты ConnectX-7. Он предоставляет OpenAI-совместимый API на порту 8888, который принимает текст, изображения и видео, поддерживает вызов инструментов и позволяет включать или отключать режим рассуждений для каждого запроса.

Настройка работает как с кольцевым соединением Spark-to-Spark без коммутатора RoCE (start-switchless.sh), так и с обычной сетью с коммутатором (start.sh). Скрипты подготавливают все четыре машины, один раз скачивают чекпойнт на первый узел, предоставляют веса через NFS и запускают ранги. Дополнительные возможности включают структурированный вывод через response_format или параметры guided_*, спекулятивное декодирование DSpark на основе черновых блоков чекпойнта, а также варианты весов NVFP4 и abliterated, которые можно включить по желанию.

Движок — нативная реализация TensorFold на Zig; на её основе создано семейство DeepSeek-V4.1, а в репозитории поддерживается набор патчей.

Ключевые возможности

  • 01Запускает DeepSeek-V4.1-Flash-1017 с тензорным параллелизмом на четырёх DGX Sparks.
  • 02Предоставляет OpenAI-совместимый chat API, принимающий изображения и видео.
  • 03Поддерживает вызов инструментов и структурированный вывод с ограничениями в виде JSON schema или грамматики.
  • 04Работает как в кольцевой сети Sparks без коммутатора, так и в сети RoCE с коммутатором.
  • 05Включает спекулятивное декодирование DSpark на основе черновых блоков чекпойнта.

Сценарии использования

  • Самостоятельное развёртывание крупной модели DeepSeek на небольшом кластере DGX Sparks.
  • Обслуживание мультимодальных чатов с изображениями и видео через клиент, совместимый с OpenAI API.
  • Одновременная обработка запросов с длинным контекстом на локальном оборудовании GB10.

Быстрый старт

  1. 1

    Клонируйте репозиторий на spark1

    git clone https://github.com/MiaAI-Lab/DeepSeek-V4.1-Flash-1017-4x-DGX-Sparks-TensorFold.git
  2. 2

    Перейдите в каталог и создайте локальный файл конфигурации

    cd DeepSeek-V4.1-Flash-1017-4x-DGX-Sparks-TensorFold && cp scripts/local.sh.example scripts/local.sh
  3. 3

    Задайте для WORKER, WORKER2 и WORKER3 в scripts/local.sh значения spark2, spark3 и spark4 соответственно

  4. 4

    Запустите настройку кольца (если Sparks подключены к коммутатору, вместо этого используйте ./start.sh)

    ./start-switchless.sh

Что важно знать

  • Требуются четыре NVIDIA DGX Sparks (по 128 GB каждый), соединённые через порты ConnectX-7, поэтому на обычном оборудовании это непрактично.
  • Для файлов checkpoint и весов требуется около 830 GB места на диске spark1, а также примерно 100 GB свободной памяти на каждом Spark.
  • Решение основано на форке движка инференса (ветка TensorFold) и наборе локальных патчей, что усложняет обслуживание и настройку.

Темы

#llm#inference#tensor-parallelism#deepseek#openai-compatible-api#nvidia-dgx#speculative-decoding

Частые вопросы

Что такое DeepSeek-V4.1-Flash-1017-4x-DGX-Sparks-TensorFold?
Запускает DeepSeek-V4.1-Flash-1017 на четырёх NVIDIA DGX Sparks с тензорным параллелизмом и OpenAI-совместимым API, включая вариант с кольцевым соединением без коммутатора. Этот рецепт запускает опубликованный чекпойнт DeepSeek DeepSeek-V4.1-Flash-1017 в форматах FP8 и MXFP4, распределяя его между четырьмя NVIDIA DGX Sparks (GB10, по 128 ГБ) и используя тензорный параллелизм на всех четырёх узлах, соединённых через порты ConnectX-7. Он предоставляет OpenAI-совместимый API на порту 8888, который принимает текст, изображения и видео, поддерживает вызов инструментов и позволяет включать или отключать режим рассуждений для каждого запроса.
DeepSeek-V4.1-Flash-1017-4x-DGX-Sparks-TensorFold можно использовать бесплатно? Какая у него лицензия?
DeepSeek-V4.1-Flash-1017-4x-DGX-Sparks-TensorFold распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
DeepSeek-V4.1-Flash-1017-4x-DGX-Sparks-TensorFold всё ещё поддерживается?
Активно поддерживается. Последний коммит в DeepSeek-V4.1-Flash-1017-4x-DGX-Sparks-TensorFold — 4 нояб. 2026 г..
Для чего можно использовать DeepSeek-V4.1-Flash-1017-4x-DGX-Sparks-TensorFold?
Самостоятельное развёртывание крупной модели DeepSeek на небольшом кластере DGX Sparks. Обслуживание мультимодальных чатов с изображениями и видео через клиент, совместимый с OpenAI API. Одновременная обработка запросов с длинным контекстом на локальном оборудовании GB10.
Как установить DeepSeek-V4.1-Flash-1017-4x-DGX-Sparks-TensorFold?
Клонируйте репозиторий на spark1: git clone https://github.com/MiaAI-Lab/DeepSeek-V4.1-Flash-1017-4x-DGX-Sparks-TensorFold.git Перейдите в каталог и создайте локальный файл конфигурации: cd DeepSeek-V4.1-Flash-1017-4x-DGX-Sparks-TensorFold && cp scripts/local.sh.example scripts/local.sh Задайте для WORKER, WORKER2 и WORKER3 в scripts/local.sh значения spark2, spark3 и spark4 соответственно Запустите настройку кольца (если Sparks подключены к коммутатору, вместо этого используйте ./start.sh): ./start-switchless.sh
Где скачать DeepSeek-V4.1-Flash-1017-4x-DGX-Sparks-TensorFold?
Исходный код и инструкции по установке — на GitHub: https://github.com/MiaAI-Lab/DeepSeek-V4.1-Flash-1017-4x-DGX-Sparks-TensorFold

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты