Receita para servir o DeepSeek-V4.1-Flash-1017 (EXL3 2.9 bpw) em dois NVIDIA DGX Sparks como uma API compatível com OpenAI, com janela de 1 milhão de tokens.
13421ShellApache-2.0Atualizado há 12 horas
#exllama
Repositórios do GitHub selecionados relacionados a exllama, com resumos de IA e métricas principais.
Receita para servir o DeepSeek-V4.1-Flash-1017 (EXL3 2.9 bpw) em dois NVIDIA DGX Sparks como uma API compatível com OpenAI, com janela de 1 milhão de tokens.