Подключает iPhone к Mac по USB-C, чтобы GPU телефона помогал локально запускать модель Qwen 27B, ускоряя обработку промптов и увеличивая контекст.
1,1 тыс.118PythonMITОбновлён 6 дней назад
#speculative-decoding
Open source проекты по теме «speculative-decoding»
Отобранные репозитории GitHub по теме speculative-decoding с описаниями от ИИ и ключевыми метриками.
Сортировка:Недавно добавленные
2 репозиторияСбросить фильтры
Open source inference engine, который подстраивает kernels под ваше оборудование и ускоряет работу open models на Apple Silicon, NVIDIA, AMD или CPU.
7,2 тыс.494RustApache-2.0Обновлён 17 часов назад