Лаунчер и сборка llama.cpp с патчами для запуска 1,58-битной модели Ternary Bonsai 2 27B с контекстом 262k на NVIDIA GPU с 12 и 8 ГБ памяти.
796PythonOtherОбновлён 9 часов назад
#speculative-decoding
Open source проекты по теме «speculative-decoding»
Отобранные репозитории GitHub по теме speculative-decoding с описаниями от ИИ и ключевыми метриками.