FareedKhan-dev/kimi-k3-in-c

これは何？

主な機能

• 01単一CPUで、ピークRAM約8 GBを使って2.78兆パラメータのKimi K3を実行します。
• 02ルーティングされたエキスパートをディスクからストリーミングし、頻繁に使うものをLRUキャッシュに保持します。
• 03BLASに依存せず、MXFP4カーネルとAVX2またはNEONのSIMDパスを使用します。
• 04メモリ容量にかかわらず、バイト単位で一致する出力を生成します。
• 05公式XTML形式とトークナイザーを使うテキストチャットモードを備えています。
• 06出力をPyTorchの参照実装と照合するテストスイートが付属します。

ユースケース

• GPUのないノートPCやデスクトップで、非常に大規模なMoEモデルを実行する。
• ストリーミング方式のMixture-of-Experts推論や、KV・リカレント状態の仕組みをCのレベルで学ぶ。
• ほかの大規模モデル向けにCPU推論エンジンを構築する際の参考にする。
• ストレージのスループットがCPUベースのLLM生成をどの程度制限するかをベンチマークする。

クイックスタート

1. 1

   リポジトリをクローンする

   git clone https://github.com/FareedKhan-dev/kimi-k3-in-c.git
2. 2

   プロジェクトディレクトリに移動する

   cd kimi-k3-in-c
3. 3

   エンジンをビルドする

   make -j
4. 4

   テストスイートを実行する（チェックポイントは不要）

   make test

使う前に知っておきたいこと

• !フルモデルの実行にはディスク上に1.56 TBのチェックポイントが必要で、合計約1.7 TBの空き容量が必要です。
• !小規模なマシンでは生成に非常に時間がかかり、RAMが8 GBの場合、1トークンあたり約26秒かかります。
• !チャットモードとフルモデルを使用するには、サイズの大きい公式チェックポイントを別途ダウンロードする必要があります。

収録されている特集

トピック

よくある質問

kimi-k3-in-c とは？

GPUやBLASを使わず、ディスクからエキスパートをストリーミングして、単一CPUで2.78兆パラメータのKimi K3を動かすC99推論エンジン。 kimi-k3-in-cは、MoonshotのMixture-of-ExpertsモデルKimi K3向けの推論エンジンです。移植性の高いC99で実装されており、BLAS、フレームワーク、GPUに依存しません。チェックポイントはディスク上で1.56 TBありますが、各トークンで各層の896個のルーティングエキスパートのうち実際に動くのは16個だけなので、エンジンは密な幹部分をメモリに保持し、残りはディスクからストリーミングします。プロジェクトの報告によると、8 GBクラスの環境でピーク常駐メモリは8.24 GBで、メモリ容量を変えても出力はバイト単位で一致します。RAMが多いほど生成が速くなります。

kimi-k3-in-c は無料で使えますか？ライセンスは？

kimi-k3-in-c は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

kimi-k3-in-c は今もメンテナンスされていますか？

半年以内に更新あり。kimi-k3-in-c の最終コミットは 2026年10月2日 です。

kimi-k3-in-c は何に使えますか？

GPUのないノートPCやデスクトップで、非常に大規模なMoEモデルを実行する。 ストリーミング方式のMixture-of-Experts推論や、KV・リカレント状態の仕組みをCのレベルで学ぶ。 ほかの大規模モデル向けにCPU推論エンジンを構築する際の参考にする。 ストレージのスループットがCPUベースのLLM生成をどの程度制限するかをベンチマークする。

kimi-k3-in-c のインストール方法は？

リポジトリをクローンする: git clone https://github.com/FareedKhan-dev/kimi-k3-in-c.git プロジェクトディレクトリに移動する: cd kimi-k3-in-c エンジンをビルドする: make -j テストスイートを実行する（チェックポイントは不要）: make test

kimi-k3-in-c はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/FareedKhan-dev/kimi-k3-in-c