Um inicializador e uma configuração corrigida do llama.cpp que executam o modelo ternário Ternary Bonsai 2 27B de 1,58 bit, com contexto de 262 mil tokens, em GPUs NVIDIA de 12 GB e 8 GB.
826PythonOtherAtualizado há 19 horas
#rtx-4070
Repositórios do GitHub selecionados relacionados a rtx-4070, com resumos de IA e métricas principais.
Um inicializador e uma configuração corrigida do llama.cpp que executam o modelo ternário Ternary Bonsai 2 27B de 1,58 bit, com contexto de 262 mil tokens, em GPUs NVIDIA de 12 GB e 8 GB.