ikawrakow/ik_llama.cpp

これは何？

主な機能

• 01IQKやTrellis系などの追加量子化方式により、CPU推論をより小さなモデルサイズで高速に実行できます。
• 02DeepSeekモデル向けのMLAおよびFlashMLA attention実装。
• 03重みをGPUまたはCPUのどちらに配置するか制御するtensor override。
• 04マルチGPU構成向けのgraph split mode。
• 05Web UIとfunction callingに対応した、OpenAI互換のllama-server。
• 06MTPやn-gramベースの方式など、複数の投機的デコードオプション。

ユースケース

• CPU中心、またはCPUとGPUを組み合わせたマシンで、量子化されたGGUFモデルを実行する。
• OpenAI互換APIでローカルLLMのエンドポイントを提供する。
• VRAMが限られたワークステーションで、DeepSeekなどの大規模MoEモデルを実行する。

クイックスタート

1. 1

   リポジトリをクローンする

   git clone https://github.com/ikawrakow/ik_llama.cpp
2. 2

   CMakeでCPU向けにビルドする

   cmake -B build -DGGML_NATIVE=ON
3. 3

   Releaseモードでビルドをコンパイルする

   cmake --build build --config Release -j$(nproc)
4. 4

   .ggufモデルファイルをダウンロードしてサーバーを起動する

   ./build/bin/llama-server --model /my_local_files/gguf/Qwen_Qwen3-0.6B-IQ4_NL.gguf --ctx-size 4096

使う前に知っておきたいこと

• !CPU（AVX2以上、ARM NEON）およびCUDA（Turing以降）のバックエンドのみ、完全にサポートされています。
• !ROCm、Vulkan、Metal、旧型のNvidia GPU、AVXのみ対応のCPUは、メンテナーによるサポート対象外です。
• !f16テンソルを含む一部のUnsloth _XLモデルは、動作しない場合があります。
• !メインラインのllama.cppとは、モデルや量子化の互換性が異なる場合があります。

トピック

よくある質問

ik_llama.cpp とは？

CPU推論の高速化に重点を置いたllama.cppのフォーク。追加の量子化方式や、GGUF LLMをローカルで実行する機能を備えています。 ik_llama.cppは2024年6月に開発が始まったllama.cppのフォークで、GGUFファイルから大規模言語モデルをローカルで実行します。IQKやTrellis系などの量子化方式を追加し、CPU性能の向上を目指しています。特にAVX2以降のx86 CPU、ARM NEON、CUDA対応のNVIDIA GPU（Turing以降）で、最も充実したサポートを提供します。

ik_llama.cpp は無料で使えますか？ライセンスは？

ik_llama.cpp は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

ik_llama.cpp は今もメンテナンスされていますか？

活発にメンテナンス中。ik_llama.cpp の最終コミットは 2026年10月20日 です。

ik_llama.cpp は何に使えますか？

CPU中心、またはCPUとGPUを組み合わせたマシンで、量子化されたGGUFモデルを実行する。 OpenAI互換APIでローカルLLMのエンドポイントを提供する。 VRAMが限られたワークステーションで、DeepSeekなどの大規模MoEモデルを実行する。

ik_llama.cpp のインストール方法は？

リポジトリをクローンする: git clone https://github.com/ikawrakow/ik_llama.cpp CMakeでCPU向けにビルドする: cmake -B build -DGGML_NATIVE=ON Releaseモードでビルドをコンパイルする: cmake --build build --config Release -j$(nproc) .ggufモデルファイルをダウンロードしてサーバーを起動する: ./build/bin/llama-server --model /my_local_files/gguf/Qwen_Qwen3-0.6B-IQ4_NL.gguf --ctx-size 4096

ik_llama.cpp はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/ikawrakow/ik_llama.cpp