Un launcher y una configuración de llama.cpp con parches para ejecutar el modelo ternario de 1,58 bits Ternary Bonsai 2 27B con un contexto de 262k en GPU NVIDIA de 12 GB y 8 GB.
796PythonOtherActualizado hace 12 horas
#speculative-decoding
Proyectos open source sobre «speculative-decoding»
Repositorios de GitHub seleccionados relacionados con speculative-decoding, con resúmenes de IA y métricas clave.