Repolode
제출하기
bertholomus

bertholomus/deepseek-v4.1-tensorfold-tp2-2xgb10

TensorFold TP2 엔진을 사용해 NVIDIA DGX Spark(GB10) 노드 2대에서 텐서 병렬 처리로 DeepSeek-V4.1-Flash-1017을 서빙하는 레시피입니다.

GitHub에서 보기웹사이트
스타
64
포크
6
열린 이슈
13
마지막 커밋
3일 전

어떤 프로젝트인가요?

이 저장소는 NVIDIA DGX Spark(GB10) 노드 2대에서 DeepSeek-V4.1-Flash-1017을 서빙하기 위한 레시피입니다. 텐서 병렬 처리(TP2)로 모델을 두 머신에 나누고, 저자들이 만든 TensorFold 기반 엔진으로 실행합니다. 이 엔진은 요청당 1,048,576토큰의 컨텍스트 윈도우를 제공하는 서버를 실행합니다.

가중치는 같은 저자들이 별도로 공개한 2.5 bpw EXL3 양자화 모델이므로 두 노드에 나눠 담을 수 있습니다. 이 저장소에는 가중치가 없으며 엔진 빌드 단계, 커널 키트, 설정 예시와 실행 스크립트(serve.sh 및 config.env.example)가 포함되어 있습니다. 설명된 서버 기능으로는 구조화된 출력, 강제 및 자동 도구 호출, 이미지 입력, 긴 대화를 이어서 처리하기 위한 프롬프트 상태 저장이 있습니다.

프로젝트 문서에는 2노드 구성에서 측정한 디코드 및 프리필 처리량이 버전별 릴리스 노트와 함께 기록되어 있습니다. 이 텐서 병렬 구성은 같은 저자들이 만든 별도의 4노드 레시피에 대응하는 2노드 버전입니다.

핵심 기능

  • 01DGX Spark(GB10) 노드 2대에서 텐서 병렬 처리로 DeepSeek-V4.1-Flash-1017을 서빙합니다.
  • 02요청당 1,048,576토큰의 컨텍스트 윈도우를 제공합니다.
  • 03DeepSeek의 DSML 형식으로 구조화된 출력과 도구 호출을 지원합니다.
  • 04비전 타워를 통해 이미지 입력을 받습니다.
  • 05실행 스크립트, 설정 예시, 커널 키트를 포함합니다.

활용 사례

  • GB10급 머신 두 대에서 대규모 DeepSeek 모델을 로컬로 실행합니다.
  • 긴 컨텍스트 프롬프트를 처리하고 저장된 상태에서 대규모 대화를 이어갑니다.
  • DGX Spark 하드웨어에서 텐서 병렬 디코드 및 프리필 처리량을 벤치마킹합니다.

빠른 시작

  1. 1

    엔진 빌드, 가중치 및 런타임 입력에 대한 내용은 RUNNING.md를 읽어 보세요

  2. 2

    config.env.example을 바탕으로 config.env를 설정하고 두 노드 모두에서 scripts/serve.sh를 실행하세요

사용 전 알아둘 점

  • tensor-parallel 설정에는 NVIDIA DGX Spark (GB10) 노드 2대가 필요합니다.
  • 가중치는 포함되어 있지 않으며 Hugging Face에서 별도로 받아야 합니다.
  • Engram 테이블은 실행 시 DeepSeek의 원본 샤드 47 및 48에서 읽어 옵니다.

포함된 컬렉션

GPU로 AI를 학습하고 실행하는 도구

토픽

#llm#tensor-parallelism#inference#deepseek#model-serving#quantization#nvidia#gpu

자주 묻는 질문

deepseek-v4.1-tensorfold-tp2-2xgb10은(는) 무엇인가요?
TensorFold TP2 엔진을 사용해 NVIDIA DGX Spark(GB10) 노드 2대에서 텐서 병렬 처리로 DeepSeek-V4.1-Flash-1017을 서빙하는 레시피입니다. 이 저장소는 NVIDIA DGX Spark(GB10) 노드 2대에서 DeepSeek-V4.1-Flash-1017을 서빙하기 위한 레시피입니다. 텐서 병렬 처리(TP2)로 모델을 두 머신에 나누고, 저자들이 만든 TensorFold 기반 엔진으로 실행합니다. 이 엔진은 요청당 1,048,576토큰의 컨텍스트 윈도우를 제공하는 서버를 실행합니다.
deepseek-v4.1-tensorfold-tp2-2xgb10은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
deepseek-v4.1-tensorfold-tp2-2xgb10은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
deepseek-v4.1-tensorfold-tp2-2xgb10은(는) 아직 유지보수되고 있나요?
활발히 유지보수 중. deepseek-v4.1-tensorfold-tp2-2xgb10의 마지막 커밋은 2026년 11월 4일입니다.
deepseek-v4.1-tensorfold-tp2-2xgb10은(는) 어디에 사용할 수 있나요?
GB10급 머신 두 대에서 대규모 DeepSeek 모델을 로컬로 실행합니다. 긴 컨텍스트 프롬프트를 처리하고 저장된 상태에서 대규모 대화를 이어갑니다. DGX Spark 하드웨어에서 텐서 병렬 디코드 및 프리필 처리량을 벤치마킹합니다.
deepseek-v4.1-tensorfold-tp2-2xgb10는 어떻게 설치하나요?
엔진 빌드, 가중치 및 런타임 입력에 대한 내용은 RUNNING.md를 읽어 보세요 config.env.example을 바탕으로 config.env를 설정하고 두 노드 모두에서 scripts/serve.sh를 실행하세요
deepseek-v4.1-tensorfold-tp2-2xgb10은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/bertholomus/deepseek-v4.1-tensorfold-tp2-2xgb10

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트