ikawrakow/ik_llama.cpp

Что это?

Ключевые возможности

• 01Дополнительные типы квантования, например IQK и Trellis, для более быстрого инференса на CPU с меньшим потреблением памяти.
• 02Реализации MLA- и FlashMLA-внимания для моделей DeepSeek.
• 03Переопределение тензоров, позволяющее управлять размещением весов на GPU или CPU.
• 04Режим разделения графа для конфигураций с несколькими GPU.
• 05Совместимый с OpenAI llama-server со встроенным веб-интерфейсом и поддержкой вызова функций.
• 06Варианты speculative decoding, включая MTP и методы на основе n-грамм.

Сценарии использования

• Запуск квантованных моделей GGUF на компьютере с упором на CPU или гибридной конфигурацией CPU/GPU.
• Предоставление локальных LLM-эндпоинтов через API, совместимый с OpenAI.
• Запуск крупных MoE-моделей, например DeepSeek, на рабочей станции с ограниченным объёмом VRAM.

Быстрый старт

1. 1

   Клонируйте репозиторий

   git clone https://github.com/ikawrakow/ik_llama.cpp
2. 2

   Соберите проект для CPU с помощью CMake

   cmake -B build -DGGML_NATIVE=ON
3. 3

   Скомпилируйте сборку в режиме Release

   cmake --build build --config Release -j$(nproc)
4. 4

   Скачайте файл модели .gguf и запустите сервер

   ./build/bin/llama-server --model /my_local_files/gguf/Qwen_Qwen3-0.6B-IQ4_NL.gguf --ctx-size 4096

Что важно знать

• !Полностью поддерживаются только бэкенды CPU (AVX2 или новее, ARM NEON) и CUDA (Turing или новее).
• !Сопровождающие проекта не поддерживают ROCm, Vulkan, Metal, старые GPU Nvidia и CPU только с AVX.
• !Некоторые модели Unsloth _XL с тензорами f16 могут не работать.
• !Совместимость моделей и квантования может отличаться от основной версии llama.cpp.

Темы

Частые вопросы

Что такое ik_llama.cpp?

Форк llama.cpp с упором на скорость инференса на CPU, дополнительными типами квантования и функциями для локального запуска LLM в формате GGUF. ik_llama.cpp — форк llama.cpp, созданный в июне 2024 года для локального запуска больших языковых моделей из файлов GGUF. В нём добавлены дополнительные типы квантования, например семейства IQK и Trellis, а также повышена производительность на CPU. Наиболее полная поддержка доступна на x86-процессорах с AVX2 и новее, ARM с NEON и GPU NVIDIA с CUDA (Turing и новее).

ik_llama.cpp можно использовать бесплатно? Какая у него лицензия?

ik_llama.cpp распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.

ik_llama.cpp всё ещё поддерживается?

Активно поддерживается. Последний коммит в ik_llama.cpp — 20 окт. 2026 г..

Для чего можно использовать ik_llama.cpp?

Запуск квантованных моделей GGUF на компьютере с упором на CPU или гибридной конфигурацией CPU/GPU. Предоставление локальных LLM-эндпоинтов через API, совместимый с OpenAI. Запуск крупных MoE-моделей, например DeepSeek, на рабочей станции с ограниченным объёмом VRAM.

Как установить ik_llama.cpp?

Клонируйте репозиторий: git clone https://github.com/ikawrakow/ik_llama.cpp Соберите проект для CPU с помощью CMake: cmake -B build -DGGML_NATIVE=ON Скомпилируйте сборку в режиме Release: cmake --build build --config Release -j$(nproc) Скачайте файл модели .gguf и запустите сервер: ./build/bin/llama-server --model /my_local_files/gguf/Qwen_Qwen3-0.6B-IQ4_NL.gguf --ctx-size 4096

Где скачать ik_llama.cpp?

Исходный код и инструкции по установке — на GitHub: https://github.com/ikawrakow/ik_llama.cpp