DeepSeek-V4.1-Flash-1017(EXL3 2.9 bpw)을 NVIDIA DGX Sparks 두 대에서 서빙하는 레시피로, 1M 토큰 컨텍스트를 지원하는 OpenAI 호환 API를 제공합니다.
13421ShellApache-2.0업데이트 12시간 전
#exllama
“exllama” 관련 오픈소스 프로젝트
exllama 관련 엄선 GitHub 저장소. AI 요약과 주요 지표를 함께 제공합니다.
#exllama
exllama 관련 엄선 GitHub 저장소. AI 요약과 주요 지표를 함께 제공합니다.
DeepSeek-V4.1-Flash-1017(EXL3 2.9 bpw)을 NVIDIA DGX Sparks 두 대에서 서빙하는 레시피로, 1M 토큰 컨텍스트를 지원하는 OpenAI 호환 API를 제공합니다.