FareedKhan-dev/kimi-k3-in-c

Что это?

Ключевые возможности

• 01Запускает Kimi K3 с 2,78 трлн параметров на одном CPU, используя около 8 ГБ оперативной памяти на пике.
• 02Подгружает маршрутизируемых экспертов с диска и кэширует часто используемых в LRU-кэше.
• 03Использует ядра MXFP4 и SIMD-пути для AVX2 или NEON без зависимости от BLAS.
• 04Выдаёт побайтно идентичный результат при любом объёме доступной памяти.
• 05Включает текстовый чат в официальном формате XTML с официальным токенизатором.
• 06В комплект входит набор тестов для сравнения результатов с эталоном на PyTorch.

Сценарии использования

• Запуск очень большой MoE-модели на ноутбуке или настольном компьютере без GPU.
• Изучение того, как на уровне C устроен инференс со смесью экспертов, загружаемых с диска, а также KV- или рекуррентное состояние.
• Использование проекта как эталона при создании CPU-движка инференса для других больших моделей.
• Оценка того, как пропускная способность накопителя ограничивает генерацию LLM на CPU.

Быстрый старт

1. 1

   Клонируйте репозиторий

   git clone https://github.com/FareedKhan-dev/kimi-k3-in-c.git
2. 2

   Перейдите в каталог проекта

   cd kimi-k3-in-c
3. 3

   Соберите движок

   make -j
4. 4

   Запустите набор тестов (чекпойнт не нужен)

   make test

Что важно знать

• !Для запуска полной модели на диске нужен чекпойнт размером 1,56 ТБ; всего потребуется около 1,7 ТБ свободного места.
• !На маломощных компьютерах генерация очень медленная: около 26 секунд на токен при 8 ГБ оперативной памяти.
• !Для режима чата и полной модели необходимо отдельно скачать большой официальный чекпойнт.

В подборках

Темы

Частые вопросы

Что такое kimi-k3-in-c?

Движок инференса на C99 запускает модель Kimi K3 с 2,78 трлн параметров на одном CPU, загружая экспертов с диска без GPU и BLAS. kimi-k3-in-c — движок инференса для модели Moonshot Kimi K3 на основе смеси экспертов, написанный на переносимом C99 без зависимостей от BLAS, фреймворков и GPU. Контрольная точка занимает на диске 1,56 ТБ, но для каждого токена в каждом слое активируются только 16 из 896 маршрутизируемых экспертов, поэтому движок хранит плотную часть модели в памяти, а остальные веса подгружает с диска. По данным проекта, пиковый объём резидентной памяти составляет 8,24 ГБ на системе класса 8 ГБ, а результат побайтно совпадает при любом объёме доступной памяти: дополнительная RAM лишь ускоряет генерацию.

kimi-k3-in-c можно использовать бесплатно? Какая у него лицензия?

kimi-k3-in-c распространяется с открытым исходным кодом под лицензией Apache-2.0. Перед использованием в коммерческих продуктах проверьте условия лицензии.

kimi-k3-in-c всё ещё поддерживается?

Обновлялся за последние 6 месяцев. Последний коммит в kimi-k3-in-c — 2 окт. 2026 г..

Для чего можно использовать kimi-k3-in-c?

Запуск очень большой MoE-модели на ноутбуке или настольном компьютере без GPU. Изучение того, как на уровне C устроен инференс со смесью экспертов, загружаемых с диска, а также KV- или рекуррентное состояние. Использование проекта как эталона при создании CPU-движка инференса для других больших моделей. Оценка того, как пропускная способность накопителя ограничивает генерацию LLM на CPU.

Как установить kimi-k3-in-c?

Клонируйте репозиторий: git clone https://github.com/FareedKhan-dev/kimi-k3-in-c.git Перейдите в каталог проекта: cd kimi-k3-in-c Соберите движок: make -j Запустите набор тестов (чекпойнт не нужен): make test

Где скачать kimi-k3-in-c?

Исходный код и инструкции по установке — на GitHub: https://github.com/FareedKhan-dev/kimi-k3-in-c