Un launcher y una configuración de llama.cpp con parches para ejecutar el modelo ternario de 1,58 bits Ternary Bonsai 2 27B con un contexto de 262k en GPU NVIDIA de 12 GB y 8 GB.
826PythonOtherActualizado hace 7 horas
#long-context
Proyectos open source sobre «long-context»
Repositorios de GitHub seleccionados relacionados con long-context, con resúmenes de IA y métricas clave.
Ordenar:Añadidos recientemente
2 repositorios
Configuración para servir Mirai S 27B (un Qwen3.8-27B GGUF) en una RTX 4070 de 12 GB, con una ventana completa de 262k tokens y caché K/V q8_0.
10110PythonOtherActualizado hace 7 horas