Un launcher y una configuración de llama.cpp con parches para ejecutar el modelo ternario de 1,58 bits Ternary Bonsai 2 27B con un contexto de 262k en GPU NVIDIA de 12 GB y 8 GB.
796PythonOtherActualizado hace 6 horas
#speculative-decoding
Proyectos open source sobre «speculative-decoding»
Repositorios de GitHub seleccionados relacionados con speculative-decoding, con resúmenes de IA y métricas clave.
Ordenar:Añadidos recientemente
3 repositorios
Conecta un iPhone a un Mac por USB-C para que la GPU del teléfono ayude a ejecutar localmente un modelo Qwen 27B y agilice la lectura de prompts y amplíe el contexto.
1,1 mil118PythonMITActualizado hace 6 días
Motor de inferencia de código abierto que ajusta sus kernels al hardware para ejecutar modelos abiertos más rápido en Apple Silicon, NVIDIA, AMD o CPU.
7,2 mil494RustApache-2.0Actualizado hace 20 horas