Receta para servir DeepSeek-V4.1-Flash-1017 (EXL3, 2.9 bpw) en dos NVIDIA DGX Sparks como API compatible con OpenAI, con una ventana de 1 M de tokens.
13421ShellApache-2.0Actualizado hace 10 horas
#exllama
Proyectos open source sobre «exllama»
Repositorios de GitHub seleccionados relacionados con exllama, con resúmenes de IA y métricas clave.
Ordenar:Añadidos recientemente
1 repositorio