ikawrakow/ik_llama.cpp

这是什么？

核心功能

• 01新增 IQK、Trellis 等量化类型，便于在 CPU 上以更小体积、更快速度运行模型。
• 02为 DeepSeek 等模型提供 MLA 与 FlashMLA 注意力实现。
• 03通过 tensor override 控制各权重存放在 GPU 还是 CPU。
• 04支持多 GPU 的 graph 拆分模式。
• 05提供兼容 OpenAI 接口的 llama-server，内置网页界面并支持函数调用。
• 06支持 MTP、n-gram 等多种投机解码方式。

适用场景

• 在以 CPU 为主或 CPU/GPU 混合的机器上运行量化 GGUF 模型。
• 通过兼容 OpenAI 的 API 搭建本地大模型服务。
• 在显存有限的工作站上运行 DeepSeek 等大型 MoE 模型。

快速上手

1. 1

   克隆仓库

   git clone https://github.com/ikawrakow/ik_llama.cpp
2. 2

   使用 CMake 编译 CPU 版本

   cmake -B build -DGGML_NATIVE=ON
3. 3

   以 Release 模式编译

   cmake --build build --config Release -j$(nproc)
4. 4

   下载 .gguf 模型文件并启动服务器

   ./build/bin/llama-server --model /my_local_files/gguf/Qwen_Qwen3-0.6B-IQ4_NL.gguf --ctx-size 4096

使用前须知

• !仅完整支持 CPU（AVX2 或更新、ARM NEON）和 CUDA（Turing 或更新）后端。
• !维护者不支持 ROCm、Vulkan、Metal、老款 Nvidia 显卡和仅支持 AVX 的 CPU。
• !部分包含 f16 张量的 Unsloth _XL 模型可能无法运行。
• !与上游 llama.cpp 的模型和量化兼容性可能有所不同。

标签

常见问题

ik_llama.cpp 是什么？

基于 llama.cpp 的分支，专注 CPU 推理性能，提供更多量化类型，用于本地运行 GGUF 大模型。 ik_llama.cpp 是 llama.cpp 的一个分支，始于 2024 年 6 月，用于在本地从 GGUF 文件运行大语言模型。它新增了多种量化类型（如 IQK、Trellis 系列），重点提升 CPU 推理性能，在支持 AVX2 及更新指令集的 x86 CPU 和 ARM NEON 上支持最完整，NVIDIA GPU 则需 Turing 或更新的 CUDA 架构。

ik_llama.cpp 可以免费使用吗？用的什么许可证？

ik_llama.cpp 以 MIT 许可证开源。用于商业产品前，请先确认许可证条款。

ik_llama.cpp 还在维护吗？

活跃维护中。ik_llama.cpp 最近一次提交是在 2026年10月20日。

ik_llama.cpp 适合用来做什么？

在以 CPU 为主或 CPU/GPU 混合的机器上运行量化 GGUF 模型。 通过兼容 OpenAI 的 API 搭建本地大模型服务。 在显存有限的工作站上运行 DeepSeek 等大型 MoE 模型。

ik_llama.cpp 怎么安装和运行？

克隆仓库: git clone https://github.com/ikawrakow/ik_llama.cpp 使用 CMake 编译 CPU 版本: cmake -B build -DGGML_NATIVE=ON 以 Release 模式编译: cmake --build build --config Release -j$(nproc) 下载 .gguf 模型文件并启动服务器: ./build/bin/llama-server --model /my_local_files/gguf/Qwen_Qwen3-0.6B-IQ4_NL.gguf --ctx-size 4096

在哪里获取 ik_llama.cpp？

源代码和安装说明在 GitHub 上：https://github.com/ikawrakow/ik_llama.cpp