kvcache-ai/ktransformers

这是什么？

核心功能

• 01基于 Intel AMX 与 AVX512/AVX2 优化的 INT4/INT8 量化推理内核
• 02MoE 模型的 CPU-GPU 专家调度，热门专家在 GPU，冷门专家在 CPU
• 03提供可与 SGLang 集成的 Python API
• 04与 LLaMA-Factory 集成，支持 LoRA 与全参数微调
• 05支持 BF16、FP8、INT8 等训练配置

适用场景

• 在单张 GPU 加大内存 CPU 服务器上运行大型 MoE 模型
• 结合 SGLang 通过 CPU-GPU 混合专家放置方式提供模型服务
• 借助 LLaMA-Factory 在少量消费级 GPU 上微调超大 MoE 模型

快速上手

1. 1

   进入 kt-kernel 源码目录

   cd kt-kernel
2. 2

   从源码安装 kt-kernel

   pip install .

使用前须知

• !面向特定硬件设计，依赖 Intel AMX 或 AVX512/AVX2 CPU 以及 GPU 进行异构推理。
• !项目定位为研究型项目，原始集成框架已归档。

标签

常见问题

ktransformers 是什么？

面向大型 MoE 模型的 CPU-GPU 异构推理与微调框架，可在有限显存下运行超大模型。 KTransformers 是一个研究型项目，通过在 CPU 与 GPU 之间拆分计算，让大语言模型的推理和微调在有限硬件上运行。推理部分提供面向 CPU 优化的内核，支持 INT4/INT8 量化权重，并利用 AMX 与 AVX512/AVX2 指令集加速，同时针对 NUMA 做了内存管理，适用于 MoE（混合专家）模型。热门专家可放在 GPU 上，冷门专家保留在 CPU 中；内核提供 Python API，可与 SGLang 集成。

ktransformers 可以免费使用吗？用的什么许可证？

ktransformers 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。

ktransformers 还在维护吗？

活跃维护中。ktransformers 最近一次提交是在 2026年10月20日。

ktransformers 适合用来做什么？

在单张 GPU 加大内存 CPU 服务器上运行大型 MoE 模型 结合 SGLang 通过 CPU-GPU 混合专家放置方式提供模型服务 借助 LLaMA-Factory 在少量消费级 GPU 上微调超大 MoE 模型

ktransformers 怎么安装和运行？

进入 kt-kernel 源码目录: cd kt-kernel 从源码安装 kt-kernel: pip install .

在哪里获取 ktransformers？

源代码和安装说明在 GitHub 上：https://github.com/kvcache-ai/ktransformers