Um inicializador e uma configuração corrigida do llama.cpp que executam o modelo ternário Ternary Bonsai 2 27B de 1,58 bit, com contexto de 262 mil tokens, em GPUs NVIDIA de 12 GB e 8 GB.
796PythonOtherAtualizado há 3 horas
#long-context
Projetos open source sobre “long-context”
Repositórios do GitHub selecionados relacionados a long-context, com resumos de IA e métricas principais.
Ordenar:Adicionados recentemente
2 repositórios
Configuração para servir o Mirai S 27B (um Qwen3.8-27B em GGUF) em uma RTX 4070 de 12 GB, com janela completa de 262 mil tokens e cache K/V q8_0.
10110PythonOtherAtualizado há 5 horas