Высокопроизводительный движок инференса LLM от Alibaba, который используют разные бизнес-подразделения компании для обслуживания больших языковых моделей.
1,4 тыс.+7 за неделю299PythonApache-2.0Обновлён 20 часов назад
bertholomus/deepseek-v4.1-tensorfold-tp2-2xgb10
Рецепт для запуска DeepSeek-V4.1-Flash-1017 с тензорным параллелизмом на двух узлах NVIDIA DGX Spark (GB10) с движком TensorFold TP2.
- Звёзды
- 64
- Форки
- 6
- Открытые issues
- 13
- Последний коммит
- 3 дня назад
Что это?
В этом репозитории описан запуск DeepSeek-V4.1-Flash-1017 на двух узлах NVIDIA DGX Spark (GB10). Модель распределяется между двумя машинами с помощью тензорного параллелизма (TP2) и работает на движке авторов на базе TensorFold. Он предоставляет сервер с контекстным окном размером 1 048 576 токенов на запрос.
Для модели используется опубликованная отдельно теми же авторами квантованная версия EXL3 с точностью 2,5 bpw, благодаря чему она помещается на двух узлах. В самом репозитории весов нет: здесь находятся инструкции по сборке движка, набор ядер, примеры конфигурации и скрипты запуска (serve.sh и config.env.example). Среди описанных возможностей сервера — структурированный вывод, принудительные и автоматические вызовы инструментов, обработка изображений и сохранение состояний промпта для продолжения длинных диалогов.
В проекте приведены замеры пропускной способности декодирования и префилла на конфигурации из двух узлов, а в примечаниях к релизам сравниваются разные версии. Эта конфигурация с тензорным параллелизмом на двух узлах дополняет отдельный рецепт тех же авторов для четырёх узлов.
Ключевые возможности
- 01Запускает DeepSeek-V4.1-Flash-1017 с тензорным параллелизмом на двух узлах DGX Spark (GB10).
- 02Предоставляет контекстное окно размером 1 048 576 токенов на запрос.
- 03Поддерживает структурированный вывод и вызовы инструментов в формате DSML от DeepSeek.
- 04Принимает изображения через vision tower.
- 05Содержит скрипты запуска, примеры конфигурации и набор ядер.
Сценарии использования
- Локальный запуск крупной модели DeepSeek на паре машин класса GB10.
- Обработка промптов с большим контекстом и продолжение длинных диалогов из сохранённых состояний.
- Измерение пропускной способности декодирования и префилла при тензорном параллелизме на оборудовании DGX Spark.
Быстрый старт
- 1
Ознакомьтесь с RUNNING.md, чтобы узнать о сборке движка, весах и входных данных во время выполнения
- 2
Настройте config.env на основе config.env.example и запустите scripts/serve.sh на обоих узлах
Что важно знать
- Для конфигурации tensor-parallel требуются два узла NVIDIA DGX Spark (GB10).
- Веса не включены — их необходимо отдельно получить на Hugging Face.
- Таблицы Engram считываются во время выполнения из исходных шардов DeepSeek 47 и 48.
В подборках
Темы
Частые вопросы
- Что такое deepseek-v4.1-tensorfold-tp2-2xgb10?
- Рецепт для запуска DeepSeek-V4.1-Flash-1017 с тензорным параллелизмом на двух узлах NVIDIA DGX Spark (GB10) с движком TensorFold TP2. В этом репозитории описан запуск DeepSeek-V4.1-Flash-1017 на двух узлах NVIDIA DGX Spark (GB10). Модель распределяется между двумя машинами с помощью тензорного параллелизма (TP2) и работает на движке авторов на базе TensorFold. Он предоставляет сервер с контекстным окном размером 1 048 576 токенов на запрос.
- deepseek-v4.1-tensorfold-tp2-2xgb10 можно использовать бесплатно? Какая у него лицензия?
- deepseek-v4.1-tensorfold-tp2-2xgb10 распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.
- deepseek-v4.1-tensorfold-tp2-2xgb10 всё ещё поддерживается?
- Активно поддерживается. Последний коммит в deepseek-v4.1-tensorfold-tp2-2xgb10 — 4 нояб. 2026 г..
- Для чего можно использовать deepseek-v4.1-tensorfold-tp2-2xgb10?
- Локальный запуск крупной модели DeepSeek на паре машин класса GB10. Обработка промптов с большим контекстом и продолжение длинных диалогов из сохранённых состояний. Измерение пропускной способности декодирования и префилла при тензорном параллелизме на оборудовании DGX Spark.
- Как установить deepseek-v4.1-tensorfold-tp2-2xgb10?
- Ознакомьтесь с RUNNING.md, чтобы узнать о сборке движка, весах и входных данных во время выполнения Настройте config.env на основе config.env.example и запустите scripts/serve.sh на обоих узлах
- Где скачать deepseek-v4.1-tensorfold-tp2-2xgb10?
- Исходный код и инструкции по установке — на GitHub: https://github.com/bertholomus/deepseek-v4.1-tensorfold-tp2-2xgb10
Описание создано ИИ на основе README проекта. Статистика GitHub обновляется ежедневно.
Похожие проекты
Быстрая и эффективная по памяти библиотека и сервер для запуска и обслуживания больших языковых моделей через API, совместимый с OpenAI.
96,5 тыс.+549 за неделю24,5 тыс.PythonApache-2.0Активно поддерживаетсяОбновлён 20 часов назад
Запускает DeepSeek-V4.1-Flash-1017 на четырёх NVIDIA DGX Sparks с тензорным параллелизмом и OpenAI-совместимым API, включая вариант с кольцевым соединением без коммутатора.
62+5 за неделю22ShellApache-2.0Обновлён 3 дня назад
Рецепт для запуска DeepSeek-V4.1-Flash-1017 (EXL3 2.9 bpw) на двух NVIDIA DGX Sparks с OpenAI-совместимым API и контекстом в 1 млн токенов.
430+64 за неделю73ShellApache-2.0Обновлён вчера
Результаты запуска и бенчмарков DeepSeek-V4.1-Flash (552B MoE) на четырёх NVIDIA DGX Spark с TensorFold и vLLM, включая скрипты запуска и измерения.
161+7 за неделю23PythonMITОбновлён 12 дней назад
Библиотека C/C++ с привязками для Python, C# и Java, которая запускает генеративные AI-модели на ONNX Runtime и обрабатывает весь цикл генерации LLM.
1,2 тыс.+6 за неделю383C++MITОбновлён 20 часов назад