Минималистичный движок инференса LLM на C11, запускающий GGUF-модели архитектуры LLaMA класса 1B на недорогих платах вроде Raspberry Pi, используя около 45 МБ RAM.
2,2 тыс.286CMITОбновлён 8 месяцев назад
#arm
Отобранные репозитории GitHub по теме arm с описаниями от ИИ и ключевыми метриками.
Минималистичный движок инференса LLM на C11, запускающий GGUF-модели архитектуры LLaMA класса 1B на недорогих платах вроде Raspberry Pi, используя около 45 МБ RAM.