MiaAI-Lab/DeepSeek-v4.1-Flash-1017-2x-DGX-Sparks

Что это?

Ключевые возможности

• 01Предоставляет OpenAI-совместимый API на порту 8888 с контекстным окном на 1 048 576 токенов.
• 02Распределяет модель между двумя DGX Sparks с tensor parallelism на два ранга через прямое соединение ConnectX-7.
• 03Поддерживает входные изображения, вызов инструментов и включение или отключение режима мышления для каждого запроса.
• 04Использует speculative decoding DSpark на основе draft-блоков чекпойнта.
• 05Watchdog памяти останавливает ранг, если свободной памяти становится слишком мало.

Сценарии использования

• Запуск локального LLM API с длинным контекстом на паре машин класса GB10.
• Сравнение квантованной до 2.9 bit модели DeepSeek в формате EXL3 с её поведением без квантования.
• Предоставление совместимого с OpenAI-клиентами endpoint для агентов, которым нужны вызов инструментов и входные изображения.
• Изучение настройки inference с tensor parallelism на двух машинах.

Быстрый старт

1. 1

   Установите Hugging Face CLI на ведущий Spark

   pip install -U huggingface_hub
2. 2

   Настройте оба Spark и запустите rank-процессы с ведущего Spark

   ./start.sh
3. 3

   По завершении остановите оба rank-процесса

   ./stop.sh

Что важно знать

• !Требуются два NVIDIA DGX Spark (или системы GB10 с 128 GB каждая), соединённые напрямую кабелем ConnectX-7.
• !Квантование 2.9 bpw является экспериментальным; измерения perplexity или KL относительно модели без квантования отсутствуют.
• !Для checkpoint требуется около 196 GiB, а для дополнительных таблиц на локальном диске — около 203 GB; для длинных контекстов также требуется очень много памяти.

Темы

Частые вопросы

Что такое DeepSeek-v4.1-Flash-1017-2x-DGX-Sparks?

Рецепт для запуска DeepSeek-V4.1-Flash-1017 (EXL3 2.9 bpw) на двух NVIDIA DGX Sparks с OpenAI-совместимым API и контекстом в 1 млн токенов. В этом репозитории собран рецепт развёртывания DeepSeek-V4.1-Flash-1017 на двух NVIDIA DGX Sparks (GB10, по 128 ГБ каждый), соединённых прямым кабелем ConnectX-7. Модель запускается с tensor parallelism на два ранга — по одному на машину — на нативном движке TensorFold на Zig с квантованным чекпойнтом EXL3 2.9 bit. Один скрипт на первом Spark настраивает обе машины, скачивает веса и запускает оба ранга.

DeepSeek-v4.1-Flash-1017-2x-DGX-Sparks можно использовать бесплатно? Какая у него лицензия?

DeepSeek-v4.1-Flash-1017-2x-DGX-Sparks распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.

DeepSeek-v4.1-Flash-1017-2x-DGX-Sparks всё ещё поддерживается?

Активно поддерживается. Последний коммит в DeepSeek-v4.1-Flash-1017-2x-DGX-Sparks — 20 окт. 2026 г..

Для чего можно использовать DeepSeek-v4.1-Flash-1017-2x-DGX-Sparks?

Запуск локального LLM API с длинным контекстом на паре машин класса GB10. Сравнение квантованной до 2.9 bit модели DeepSeek в формате EXL3 с её поведением без квантования. Предоставление совместимого с OpenAI-клиентами endpoint для агентов, которым нужны вызов инструментов и входные изображения. Изучение настройки inference с tensor parallelism на двух машинах.

Как установить DeepSeek-v4.1-Flash-1017-2x-DGX-Sparks?

Установите Hugging Face CLI на ведущий Spark: pip install -U huggingface_hub Настройте оба Spark и запустите rank-процессы с ведущего Spark: ./start.sh По завершении остановите оба rank-процесса: ./stop.sh

Где скачать DeepSeek-v4.1-Flash-1017-2x-DGX-Sparks?

Исходный код и инструкции по установке — на GitHub: https://github.com/MiaAI-Lab/DeepSeek-v4.1-Flash-1017-2x-DGX-Sparks