Repolode
제출하기
MiaAI-Lab

MiaAI-Lab/DeepSeek-V4.1-Flash-1017-4x-DGX-Sparks-TensorFold

4대의 NVIDIA DGX Spark에서 tensor parallelism으로 DeepSeek-V4.1-Flash-1017을 서빙하고 OpenAI 호환 API를 제공하며, 스위치 없는 링 구성도 지원합니다.

GitHub에서 보기웹사이트
스타
65
포크
25
열린 이슈
11
마지막 커밋
3일 전

어떤 프로젝트인가요?

이 레시피는 공개된 FP8 및 MXFP4 형식의 DeepSeek DeepSeek-V4.1-Flash-1017 체크포인트를 4대의 NVIDIA DGX Spark(각각 GB10, 128 GB)에 분산해 서빙합니다. 네 노드는 ConnectX-7 포트로 연결되며, 전체 노드에 tensor parallelism을 적용합니다. 텍스트, 이미지, 동영상 입력을 받고 tool calling을 지원하며 요청별로 thinking을 켜거나 끌 수 있는 OpenAI 호환 API를 포트 8888에서 제공합니다.

RoCE 스위치 없이 Spark끼리 링으로 연결하는 구성(start-switchless.sh)이나 일반 스위치 네트워크 구성(start.sh)으로 실행할 수 있습니다. 스크립트가 네 대의 머신을 모두 준비하고, 첫 번째 노드에서 체크포인트를 한 번 다운로드한 뒤 NFS로 가중치를 공유하고 각 rank를 시작합니다. 선택 기능으로 response_format 또는 guided_* 매개변수를 통한 구조화된 출력, 체크포인트의 draft block을 사용하는 DSpark speculative decoding, NVFP4 또는 abliterated 가중치 변형을 선택적으로 사용할 수 있습니다.

엔진은 TensorFold의 Zig 네이티브 구현이며, 이를 기반으로 DeepSeek-V4.1 제품군을 구현하고 저장소에서 일련의 패치를 관리합니다.

핵심 기능

  • 014대의 DGX Spark에서 tensor parallelism으로 DeepSeek-V4.1-Flash-1017을 실행합니다.
  • 02이미지와 동영상 입력을 받는 OpenAI 호환 chat API를 제공합니다.
  • 03JSON schema 또는 grammar 제약을 적용한 tool calling과 구조화된 출력을 지원합니다.
  • 04스위치 없는 Spark 링 구성이나 스위치가 있는 RoCE 네트워크에서 작동합니다.
  • 05체크포인트의 draft block을 활용하는 DSpark speculative decoding을 포함합니다.

활용 사례

  • 소규모 DGX Spark 클러스터에서 대형 DeepSeek 모델을 자체 호스팅합니다.
  • OpenAI 스타일 클라이언트를 통해 이미지와 동영상 입력을 처리하는 멀티모달 chat을 제공합니다.
  • 로컬 GB10 하드웨어에서 긴 컨텍스트 요청을 동시에 처리합니다.

빠른 시작

  1. 1

    spark1에서 저장소를 클론합니다

    git clone https://github.com/MiaAI-Lab/DeepSeek-V4.1-Flash-1017-4x-DGX-Sparks-TensorFold.git
  2. 2

    디렉터리로 이동해 로컬 설정 파일을 만듭니다

    cd DeepSeek-V4.1-Flash-1017-4x-DGX-Sparks-TensorFold && cp scripts/local.sh.example scripts/local.sh
  3. 3

    scripts/local.sh에서 WORKER, WORKER2, WORKER3을 각각 spark2, spark3, spark4로 설정합니다

  4. 4

    링 구성을 시작합니다(Sparks가 스위치에 연결되어 있다면 대신 ./start.sh를 사용하세요)

    ./start-switchless.sh

사용 전 알아둘 점

  • ConnectX-7 포트로 연결된 NVIDIA DGX Sparks 4대(각 128 GB)가 필요하므로 일반 하드웨어에서는 실용적이지 않습니다.
  • 체크포인트와 가중치 파일을 위해 spark1에 약 830 GB의 디스크 공간이 필요하고, 각 Spark에 약 100 GB의 여유 메모리가 필요합니다.
  • 포크된 추론 엔진(TensorFold 브랜치)과 여러 로컬 패치를 기반으로 하므로 유지 관리와 설정이 복잡해집니다.

토픽

#llm#inference#tensor-parallelism#deepseek#openai-compatible-api#nvidia-dgx#speculative-decoding

자주 묻는 질문

DeepSeek-V4.1-Flash-1017-4x-DGX-Sparks-TensorFold은(는) 무엇인가요?
4대의 NVIDIA DGX Spark에서 tensor parallelism으로 DeepSeek-V4.1-Flash-1017을 서빙하고 OpenAI 호환 API를 제공하며, 스위치 없는 링 구성도 지원합니다. 이 레시피는 공개된 FP8 및 MXFP4 형식의 DeepSeek DeepSeek-V4.1-Flash-1017 체크포인트를 4대의 NVIDIA DGX Spark(각각 GB10, 128 GB)에 분산해 서빙합니다. 네 노드는 ConnectX-7 포트로 연결되며, 전체 노드에 tensor parallelism을 적용합니다. 텍스트, 이미지, 동영상 입력을 받고 tool calling을 지원하며 요청별로 thinking을 켜거나 끌 수 있는 OpenAI 호환 API를 포트 8888에서 제공합니다.
DeepSeek-V4.1-Flash-1017-4x-DGX-Sparks-TensorFold은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
DeepSeek-V4.1-Flash-1017-4x-DGX-Sparks-TensorFold은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
DeepSeek-V4.1-Flash-1017-4x-DGX-Sparks-TensorFold은(는) 아직 유지보수되고 있나요?
활발히 유지보수 중. DeepSeek-V4.1-Flash-1017-4x-DGX-Sparks-TensorFold의 마지막 커밋은 2026년 11월 4일입니다.
DeepSeek-V4.1-Flash-1017-4x-DGX-Sparks-TensorFold은(는) 어디에 사용할 수 있나요?
소규모 DGX Spark 클러스터에서 대형 DeepSeek 모델을 자체 호스팅합니다. OpenAI 스타일 클라이언트를 통해 이미지와 동영상 입력을 처리하는 멀티모달 chat을 제공합니다. 로컬 GB10 하드웨어에서 긴 컨텍스트 요청을 동시에 처리합니다.
DeepSeek-V4.1-Flash-1017-4x-DGX-Sparks-TensorFold는 어떻게 설치하나요?
spark1에서 저장소를 클론합니다: git clone https://github.com/MiaAI-Lab/DeepSeek-V4.1-Flash-1017-4x-DGX-Sparks-TensorFold.git 디렉터리로 이동해 로컬 설정 파일을 만듭니다: cd DeepSeek-V4.1-Flash-1017-4x-DGX-Sparks-TensorFold && cp scripts/local.sh.example scripts/local.sh scripts/local.sh에서 WORKER, WORKER2, WORKER3을 각각 spark2, spark3, spark4로 설정합니다 링 구성을 시작합니다(Sparks가 스위치에 연결되어 있다면 대신 ./start.sh를 사용하세요): ./start-switchless.sh
DeepSeek-V4.1-Flash-1017-4x-DGX-Sparks-TensorFold은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/MiaAI-Lab/DeepSeek-V4.1-Flash-1017-4x-DGX-Sparks-TensorFold

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트