An edge-native MoE serving engine that runs large open-weight models like DeepSeek-V4 and Qwen3.6 on consumer GPUs and CPUs.
14,6 тыс.1,5 тыс.PythonApache-2.0Обновлён 2 часа назад
#kv-cache
Open source проекты по теме «kv-cache»
Отобранные репозитории GitHub по теме kv-cache с описаниями от ИИ и ключевыми метриками.
Сортировка:Недавно добавленные
2 репозитория
A small educational project for running vision-language model inference on Apple Silicon with MLX, scoring candidate answers about one image.
3190PythonMITОбновлён 28 дней назад