kvcache-ai/ktransformers

これは何？

主な機能

• 01INT4/INT8量子化推論向けに最適化されたIntel AMXおよびAVX512/AVX2カーネル
• 02MoEモデルのCPU-GPUエキスパートスケジューリング。使用頻度の高いエキスパートはGPUに、低いエキスパートはCPUに配置
• 03SGLang連携用Python API
• 04LLaMA-Factoryと統合したLoRAおよび全パラメータのファインチューニング
• 05BF16、FP8、INT8の学習設定に対応

ユースケース

• 大容量メモリのCPUサーバーと組み合わせた単一GPUで大規模MoEモデルを実行する
• CPU-GPU混在のエキスパート配置で、SGLang経由でMoEモデルをサービングする
• LLaMA-Factoryを使い、少数のコンシューマー向けGPUで超大規模MoEモデルをファインチューニングする

クイックスタート

1. 1

   kt-kernel のソースディレクトリに移動する

   cd kt-kernel
2. 2

   ソースから kt-kernel をインストールする

   pip install .

使う前に知っておきたいこと

• !特殊なハードウェア向けに構築されており、ヘテロジニアス推論には Intel AMX または AVX512/AVX2 対応の CPU と GPU が必要です。
• !研究プロジェクトとして位置付けられており、元の統合フレームワークはアーカイブされています。

トピック

よくある質問

ktransformers とは？

限られたGPUメモリで大規模MoEモデルを推論し、LoRAまたは全パラメータをファインチューニングするためのCPU-GPU異種構成LLM研究フレームワーク。 KTransformersは、CPUとGPUで処理を分担して大規模言語モデルを実行・ファインチューニングするための研究プロジェクトです。推論機能では、INT4/INT8量子化重みに対応したCPU最適化カーネルを提供し、Mixture-of-Expertsモデル向けにAMXやAVX512/AVX2による高速化とNUMAを考慮したメモリ管理を備えています。使用頻度の高いエキスパートはGPUに配置し、低いエキスパートはCPUに置けます。また、カーネルはSGLangとの連携用にPython APIを提供します。

ktransformers は無料で使えますか？ライセンスは？

ktransformers は Apache-2.0 ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

ktransformers は今もメンテナンスされていますか？

活発にメンテナンス中。ktransformers の最終コミットは 2026年10月20日 です。

ktransformers は何に使えますか？

大容量メモリのCPUサーバーと組み合わせた単一GPUで大規模MoEモデルを実行する CPU-GPU混在のエキスパート配置で、SGLang経由でMoEモデルをサービングする LLaMA-Factoryを使い、少数のコンシューマー向けGPUで超大規模MoEモデルをファインチューニングする

ktransformers のインストール方法は？

kt-kernel のソースディレクトリに移動する: cd kt-kernel ソースから kt-kernel をインストールする: pip install .

ktransformers はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/kvcache-ai/ktransformers