FareedKhan-dev/kimi-k3-in-c

这是什么？

核心功能

• 01在单颗 CPU 上运行 2.78 万亿参数的 Kimi K3，峰值内存约 8 GB。
• 02将路由专家从磁盘流式读取，并用 LRU 缓存保留高频专家。
• 03使用 MXFP4 内核，以及 AVX2 或 NEON 的 SIMD 路径，不依赖 BLAS。
• 04在各个内存预算下输出逐字节一致。
• 05支持基于官方 XTML 格式与分词器的多轮文本对话。
• 06提供测试套件，可与 PyTorch 参考实现比对输出。

适用场景

• 在没有 GPU 的笔记本或台式机上运行超大规模 MoE 模型。
• 学习混合专家模型的流式推理，以及 KV 缓存和循环状态在 C 语言中的实现方式。
• 在为其他大模型开发 CPU 推理引擎时，将其作为参考实现。
• 评估存储吞吐对 CPU 端大模型生成速度的限制。

快速上手

1. 1

   克隆仓库

   git clone https://github.com/FareedKhan-dev/kimi-k3-in-c.git
2. 2

   进入项目目录

   cd kimi-k3-in-c
3. 3

   编译引擎

   make -j
4. 4

   运行测试套件（无需模型权重）

   make test

使用前须知

• !运行完整模型需要磁盘上有 1.56 TB 的模型权重，总共约需 1.7 TB 可用空间。
• !在小内存机器上生成非常慢，8 GB 内存下每个 token 约需 26 秒。
• !聊天模式和完整模型需要另行下载庞大的官方模型权重。

收录于专题

标签

常见问题

kimi-k3-in-c 是什么？

用可移植 C99 实现的推理引擎，在单颗 CPU 上运行 2.78 万亿参数的 Kimi K3，无需 GPU 或 BLAS。 kimi-k3-in-c 是 Kimi K3 混合专家模型的推理引擎，使用可移植的 C99 编写，不依赖 BLAS、框架或 GPU。模型权重在磁盘上约 1.56 TB，但每层 896 个路由专家中每个 token 只激活 16 个，因此引擎把稠密主干常驻内存，其余专家从磁盘按需流式读取。项目给出的峰值常驻内存为 8.24 GB，不同内存预算下输出逐字节一致，内存越多只会让生成越快。

kimi-k3-in-c 可以免费使用吗？用的什么许可证？

kimi-k3-in-c 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。

kimi-k3-in-c 还在维护吗？

半年内有更新。kimi-k3-in-c 最近一次提交是在 2026年10月2日。

kimi-k3-in-c 适合用来做什么？

在没有 GPU 的笔记本或台式机上运行超大规模 MoE 模型。 学习混合专家模型的流式推理，以及 KV 缓存和循环状态在 C 语言中的实现方式。 在为其他大模型开发 CPU 推理引擎时，将其作为参考实现。 评估存储吞吐对 CPU 端大模型生成速度的限制。

kimi-k3-in-c 怎么安装和运行？

克隆仓库: git clone https://github.com/FareedKhan-dev/kimi-k3-in-c.git 进入项目目录: cd kimi-k3-in-c 编译引擎: make -j 运行测试套件（无需模型权重）: make test

在哪里获取 kimi-k3-in-c？

源代码和安装说明在 GitHub 上：https://github.com/FareedKhan-dev/kimi-k3-in-c