MiaAI-Lab/DeepSeek-v4.1-Flash-1017-2x-DGX-Sparks

어떤 프로젝트인가요?

핵심 기능

• 011,048,576토큰 윈도우를 지원하는 OpenAI 호환 API를 포트 8888에서 제공합니다.
• 02직접 연결된 ConnectX-7 링크를 통해 텐서 병렬화 2로 모델을 DGX Sparks 두 대에 분산합니다.
• 03이미지 입력, 도구 호출, 요청별 thinking 모드 켜기/끄기를 지원합니다.
• 04체크포인트의 draft 블록을 활용한 DSpark speculative decoding을 사용합니다.
• 05사용 가능한 메모리가 너무 적어지면 랭크를 중지하는 메모리 watchdog을 제공합니다.

활용 사례

• GB10급 머신 두 대에서 긴 컨텍스트를 지원하는 로컬 LLM API를 실행합니다.
• 2.9비트 EXL3 양자화 DeepSeek 모델의 동작을 양자화하지 않은 모델과 비교해 평가합니다.
• 도구 호출과 이미지 입력이 필요한 에이전트용 OpenAI 클라이언트 호환 엔드포인트를 서빙합니다.
• 두 머신에 걸친 텐서 병렬 추론 설정 방식을 살펴봅니다.

빠른 시작

1. 1

   헤드 Spark에 Hugging Face CLI를 설치합니다

   pip install -U huggingface_hub
2. 2

   두 Spark를 모두 설정하고 헤드 Spark에서 rank를 시작합니다

   ./start.sh
3. 3

   작업이 끝나면 두 rank를 모두 중지합니다

   ./stop.sh

사용 전 알아둘 점

• !직접 연결된 ConnectX-7 케이블로 연결한 NVIDIA DGX Spark 2대(또는 각각 128 GB인 GB10 시스템 2대)가 필요합니다.
• !2.9 bpw 양자화는 실험 단계이며, 양자화하지 않은 모델과 비교한 perplexity 또는 KL 측정값이 없습니다.
• !체크포인트에 약 196 GiB, 로컬 디스크의 추가 테이블에 약 203 GB가 필요하며, 긴 컨텍스트에는 매우 많은 메모리가 필요합니다.

토픽

자주 묻는 질문

DeepSeek-v4.1-Flash-1017-2x-DGX-Sparks은(는) 무엇인가요?

DeepSeek-V4.1-Flash-1017(EXL3 2.9 bpw)을 NVIDIA DGX Sparks 두 대에서 서빙하는 레시피로, 1M 토큰 컨텍스트를 지원하는 OpenAI 호환 API를 제공합니다. 이 저장소는 DeepSeek-V4.1-Flash-1017 모델을 직접 연결된 ConnectX-7 케이블로 연결한 NVIDIA DGX Sparks(GB10, 각 128 GB) 두 대에 분산해 실행하는 배포 레시피입니다. 모델은 TensorFold의 네이티브 Zig 엔진에서 머신마다 랭크 하나씩, 텐서 병렬화 2로 실행되며, 2.9비트 EXL3 양자화 체크포인트를 사용합니다. 첫 번째 Spark에서 스크립트 하나를 실행하면 두 머신을 모두 설정하고, 가중치를 다운로드한 뒤 두 랭크를 시작합니다.

DeepSeek-v4.1-Flash-1017-2x-DGX-Sparks은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

DeepSeek-v4.1-Flash-1017-2x-DGX-Sparks은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

DeepSeek-v4.1-Flash-1017-2x-DGX-Sparks은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. DeepSeek-v4.1-Flash-1017-2x-DGX-Sparks의 마지막 커밋은 2026년 10월 20일입니다.

DeepSeek-v4.1-Flash-1017-2x-DGX-Sparks은(는) 어디에 사용할 수 있나요?

GB10급 머신 두 대에서 긴 컨텍스트를 지원하는 로컬 LLM API를 실행합니다. 2.9비트 EXL3 양자화 DeepSeek 모델의 동작을 양자화하지 않은 모델과 비교해 평가합니다. 도구 호출과 이미지 입력이 필요한 에이전트용 OpenAI 클라이언트 호환 엔드포인트를 서빙합니다. 두 머신에 걸친 텐서 병렬 추론 설정 방식을 살펴봅니다.

DeepSeek-v4.1-Flash-1017-2x-DGX-Sparks는 어떻게 설치하나요?

헤드 Spark에 Hugging Face CLI를 설치합니다: pip install -U huggingface_hub 두 Spark를 모두 설정하고 헤드 Spark에서 rank를 시작합니다: ./start.sh 작업이 끝나면 두 rank를 모두 중지합니다: ./stop.sh

DeepSeek-v4.1-Flash-1017-2x-DGX-Sparks은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/MiaAI-Lab/DeepSeek-v4.1-Flash-1017-2x-DGX-Sparks