Open source проекты по теме «llm-inference»

Среда выполнения на Swift и Metal для запуска Gemma 4 26B-A4B на Mac с Apple Silicon и примерно 2 ГБ памяти за счёт потоковой загрузки экспертов с SSD.

Edge-native движок для MoE-моделей, который запускает большие модели с открытыми весами, такие как DeepSeek-V4 и Qwen3.6, на потребительских GPU, распределяя нагрузку между GPU и памятью CPU.

Движок инференса на чистом C, который запускает очень большие MoE-модели на обычном оборудовании, подгружая выбранные эксперты с диска.

Небольшой учебный проект для запуска инференса vision-language-модели на Apple Silicon с помощью MLX и оценки вариантов ответа по одному изображению.

Ускоряет prefill и расширяет контекст локальной модели Qwen 27B на Mac с помощью подключённого по USB-C iPhone.