Open source проекты по теме «speculative-decoding»

Лаунчер и сборка llama.cpp с патчами для запуска 1,58-битной модели Ternary Bonsai 2 27B с контекстом 262k на NVIDIA GPU с 12 и 8 ГБ памяти.

Подключает iPhone к Mac по USB-C, чтобы GPU телефона помогал локально запускать модель Qwen 27B, ускоряя обработку промптов и увеличивая контекст.

Open source inference engine, который подстраивает kernels под ваше оборудование и ускоряет работу open models на Apple Silicon, NVIDIA, AMD или CPU.