Repolode
제출하기
tonyd2wild

tonyd2wild/DeepSeek-V4.1-Flash-vLLM-DGX-Spark

TensorFold와 vLLM으로 NVIDIA DGX Spark 4대에서 DeepSeek-V4.1-Flash(552B)를 서빙하고 벤치마크한 기록으로, 실행 스크립트와 측정 결과를 제공합니다.

GitHub에서 보기
스타
131
포크
21
열린 이슈
0
마지막 커밋
그저께

어떤 프로젝트인가요?

이 저장소는 NVIDIA DGX Spark(GB10) 머신으로 구성된 클러스터에서 552B 파라미터의 DeepSeek-V4.1-Flash-1017 mixture-of-experts 모델을 서빙하는 방법을 문서화합니다. 저장소는 각각 추론 엔진, 양자화 가중치 패키지, 노드 수, 실행 스크립트, 벤치마크 수치를 조합한 완전한 설정인 "lane" 단위로 구성되어 있습니다. 주요 lane은 LibertAI의 EXL3 양자화 가중치와 TensorFold 네이티브 엔진을 사용해 Spark 4대 또는 2대에서 1M 토큰 컨텍스트 윈도우로 실행하며, 이전 vLLM lane도 패치와 벤치마크를 포함해 보존되어 있습니다.

각 lane의 실행 폴더에는 보고된 수치를 재현하는 데 사용한 스크립트, 설정, 로그, 결과가 들어 있습니다. 여기에는 동시 요청 수별 초당 토큰 수, 콜드 프리필 속도, 69개 시나리오로 구성된 도구 호출 평가 등이 포함됩니다. 선택 사항인 검열 해제 변형은 attention 출력 가중치에 abliteration 오버레이를 적용하며, 저장소에는 기본 lane과 비교한 속도 및 안전성 평가 결과도 나와 있습니다.

이 프로젝트는 로컬 멀티노드 GB10 하드웨어에서 초대형 오픈 웨이트 모델을 실행하려는 개발자와, 모델 카드만이 아니라 재현 가능한 설정을 원하는 개발자를 대상으로 합니다.

핵심 기능

  • 01DeepSeek-V4.1-Flash-1017을 DGX Spark 노드 4대 또는 2대에 걸쳐 텐서 병렬 방식으로 서빙합니다.
  • 02문서화된 설정 파일과 함께 TensorFold 및 vLLM 실행 스크립트를 제공합니다.
  • 03처리량, 첫 토큰 생성 시간, 프리필 속도를 비교하는 lane별 벤치마크 표를 포함합니다.
  • 04TensorFold TP4 lane에서 1,048,576토큰 컨텍스트 윈도우를 지원합니다.
  • 05OpenAI 호환 엔드포인트를 통해 채팅, 도구 호출, 사고 모드, 이미지 입력을 지원합니다.
  • 06각 lane의 결과와 함께 69개 시나리오의 도구 사용 평가를 공개합니다.

활용 사례

  • 소규모 로컬 GB10 머신 클러스터에서 초대형 오픈 웨이트 MoE 모델을 실행합니다.
  • 비슷한 설정을 도입하기 전에 공개된 처리량 및 지연 시간 수치를 재현합니다.
  • 동일한 하드웨어에서 추론 엔진(TensorFold, vLLM)과 양자화 형식을 비교합니다.
  • RDMA 네트워킹을 사용해 대형 모델을 여러 노드에 분할하는 방법을 살펴봅니다.

토픽

#llm-inference#deepseek#vllm#tensor-parallelism#quantization#exl3#nvidia-dgx-spark#moe

자주 묻는 질문

DeepSeek-V4.1-Flash-vLLM-DGX-Spark은(는) 무엇인가요?
TensorFold와 vLLM으로 NVIDIA DGX Spark 4대에서 DeepSeek-V4.1-Flash(552B)를 서빙하고 벤치마크한 기록으로, 실행 스크립트와 측정 결과를 제공합니다. 이 저장소는 NVIDIA DGX Spark(GB10) 머신으로 구성된 클러스터에서 552B 파라미터의 DeepSeek-V4.1-Flash-1017 mixture-of-experts 모델을 서빙하는 방법을 문서화합니다. 저장소는 각각 추론 엔진, 양자화 가중치 패키지, 노드 수, 실행 스크립트, 벤치마크 수치를 조합한 완전한 설정인 "lane" 단위로 구성되어 있습니다. 주요 lane은 LibertAI의 EXL3 양자화 가중치와 TensorFold 네이티브 엔진을 사용해 Spark 4대 또는 2대에서 1M 토큰 컨텍스트 윈도우로 실행하며, 이전 vLLM lane도 패치와 벤치마크를 포함해 보존되어 있습니다.
DeepSeek-V4.1-Flash-vLLM-DGX-Spark은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?
DeepSeek-V4.1-Flash-vLLM-DGX-Spark은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.
DeepSeek-V4.1-Flash-vLLM-DGX-Spark은(는) 아직 유지보수되고 있나요?
활발히 유지보수 중. DeepSeek-V4.1-Flash-vLLM-DGX-Spark의 마지막 커밋은 2026년 10월 19일입니다.
DeepSeek-V4.1-Flash-vLLM-DGX-Spark은(는) 어디에 사용할 수 있나요?
소규모 로컬 GB10 머신 클러스터에서 초대형 오픈 웨이트 MoE 모델을 실행합니다. 비슷한 설정을 도입하기 전에 공개된 처리량 및 지연 시간 수치를 재현합니다. 동일한 하드웨어에서 추론 엔진(TensorFold, vLLM)과 양자화 형식을 비교합니다. RDMA 네트워킹을 사용해 대형 모델을 여러 노드에 분할하는 방법을 살펴봅니다.
DeepSeek-V4.1-Flash-vLLM-DGX-Spark은(는) 어디서 받을 수 있나요?
소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/tonyd2wild/DeepSeek-V4.1-Flash-vLLM-DGX-Spark

요약은 프로젝트 README를 바탕으로 AI가 작성했습니다. GitHub 통계는 매일 갱신됩니다.

관련 프로젝트