Официальный фреймворк Microsoft для инференса 1-битных (тернарных, 1,58-битных) LLM на CPU и GPU, созданный на базе llama.cpp.
41,2 тыс.3,8 тыс.C++MITОбновлён 3 месяца назад
#ternary-weights
Отобранные репозитории GitHub по теме ternary-weights с описаниями от ИИ и ключевыми метриками.
Официальный фреймворк Microsoft для инференса 1-битных (тернарных, 1,58-битных) LLM на CPU и GPU, созданный на базе llama.cpp.