Repolode
Предложить
tonyd2wild

tonyd2wild/DeepSeek-V4.1-Flash-vLLM-DGX-Spark

Результаты запуска и бенчмарков DeepSeek-V4.1-Flash (552B MoE) на четырёх NVIDIA DGX Spark с TensorFold и vLLM, включая скрипты запуска и измерения.

Открыть на GitHub
Звёзды
131
Форки
21
Открытые issues
0
Последний коммит
позавчера

Что это?

В этом репозитории описано, как запустить MoE-модель DeepSeek-V4.1-Flash-1017 с 552 млрд параметров на кластере из машин NVIDIA DGX Spark (GB10). Репозиторий организован по «вариантам» (lanes): каждый включает движок инференса, набор квантованных весов, количество узлов, скрипты запуска и результаты бенчмарков. В основных вариантах используются собственный движок TensorFold и квантованные веса EXL3 от LibertAI для четырёх или двух Spark с контекстом в 1 млн токенов. Также сохранены более ранние варианты на vLLM вместе с патчами и результатами бенчмарков.

В папке каждого варианта находятся скрипты, настройки, логи и результаты, на основе которых получены приведённые показатели: например, токены в секунду при разной степени параллелизма, скорость холодного prefill и результаты оценки вызова инструментов по 69 сценариям. Дополнительно доступен вариант без цензуры: в нём к весам выходного слоя attention применён abliteration overlay. В репозитории приведено сравнение его скорости и результатов оценки безопасности со стандартным вариантом.

Проект предназначен для разработчиков, которые хотят запускать очень большую модель с открытыми весами на локальном мног узловом оборудовании GB10 и предпочитают воспроизводимые конфигурации, а не только карточку модели.

Ключевые возможности

  • 01Запускает DeepSeek-V4.1-Flash-1017 с тензорным параллелизмом на четырёх или двух узлах DGX Spark.
  • 02Предоставляет скрипты запуска TensorFold и vLLM и документированные файлы конфигурации.
  • 03Включает таблицы бенчмарков для каждого варианта: пропускная способность, время до первого токена и скорость prefill.
  • 04В варианте TensorFold TP4 поддерживает контекстное окно на 1 048 576 токенов.
  • 05Через совместимый с OpenAI endpoint поддерживает чат, вызов инструментов, режим рассуждений и обработку изображений.
  • 06Публикует результаты оценки использования инструментов по 69 сценариям для каждого варианта.

Сценарии использования

  • Запуск очень большой MoE-модели с открытыми весами на небольшом локальном кластере машин GB10.
  • Воспроизведение опубликованных показателей пропускной способности и задержки перед внедрением аналогичной конфигурации.
  • Сравнение движков инференса (TensorFold, vLLM) и форматов квантования на одинаковом оборудовании.
  • Изучение способов распределения большой модели по узлам с использованием сети RDMA.

Темы

#llm-inference#deepseek#vllm#tensor-parallelism#quantization#exl3#nvidia-dgx-spark#moe

Частые вопросы

Что такое DeepSeek-V4.1-Flash-vLLM-DGX-Spark?
Результаты запуска и бенчмарков DeepSeek-V4.1-Flash (552B MoE) на четырёх NVIDIA DGX Spark с TensorFold и vLLM, включая скрипты запуска и измерения. В этом репозитории описано, как запустить MoE-модель DeepSeek-V4.1-Flash-1017 с 552 млрд параметров на кластере из машин NVIDIA DGX Spark (GB10). Репозиторий организован по «вариантам» (lanes): каждый включает движок инференса, набор квантованных весов, количество узлов, скрипты запуска и результаты бенчмарков. В основных вариантах используются собственный движок TensorFold и квантованные веса EXL3 от LibertAI для четырёх или двух Spark с контекстом в 1 млн токенов. Также сохранены более ранние варианты на vLLM вместе с патчами и результатами бенчмарков.
DeepSeek-V4.1-Flash-vLLM-DGX-Spark можно использовать бесплатно? Какая у него лицензия?
DeepSeek-V4.1-Flash-vLLM-DGX-Spark распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.
DeepSeek-V4.1-Flash-vLLM-DGX-Spark всё ещё поддерживается?
Активно поддерживается. Последний коммит в DeepSeek-V4.1-Flash-vLLM-DGX-Spark — 19 окт. 2026 г..
Для чего можно использовать DeepSeek-V4.1-Flash-vLLM-DGX-Spark?
Запуск очень большой MoE-модели с открытыми весами на небольшом локальном кластере машин GB10. Воспроизведение опубликованных показателей пропускной способности и задержки перед внедрением аналогичной конфигурации. Сравнение движков инференса (TensorFold, vLLM) и форматов квантования на одинаковом оборудовании. Изучение способов распределения большой модели по узлам с использованием сети RDMA.
Где скачать DeepSeek-V4.1-Flash-vLLM-DGX-Spark?
Исходный код и инструкции по установке — на GitHub: https://github.com/tonyd2wild/DeepSeek-V4.1-Flash-vLLM-DGX-Spark

Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.

Похожие проекты