Configuración para servir Mirai S 27B (un Qwen3.8-27B GGUF) en una RTX 4070 de 12 GB, con una ventana completa de 262k tokens y caché K/V q8_0.
10110PythonOtherActualizado hace 7 horas
#gpu
Proyectos open source sobre «gpu»
Repositorios de GitHub seleccionados relacionados con gpu, con resúmenes de IA y métricas clave.