TensorFold와 vLLM으로 NVIDIA DGX Spark 4대에서 DeepSeek-V4.1-Flash(552B)를 서빙하고 벤치마크한 기록으로, 실행 스크립트와 측정 결과를 제공합니다.
12720PythonMIT업데이트 16시간 전
#tensor-parallelism
“tensor-parallelism” 관련 오픈소스 프로젝트
tensor-parallelism 관련 엄선 GitHub 저장소. AI 요약과 주요 지표를 함께 제공합니다.
#tensor-parallelism
tensor-parallelism 관련 엄선 GitHub 저장소. AI 요약과 주요 지표를 함께 제공합니다.
TensorFold와 vLLM으로 NVIDIA DGX Spark 4대에서 DeepSeek-V4.1-Flash(552B)를 서빙하고 벤치마크한 기록으로, 실행 스크립트와 측정 결과를 제공합니다.