ggml-org/llama.cpp

Что это?

Ключевые возможности

• 01Реализация на C/C++ без внешних зависимостей
• 02Аппаратное ускорение для Apple Metal, x86 AVX/AMX, CUDA, HIP, Vulkan, SYCL и других платформ
• 03Целочисленная квантизация от 1,5 до 8 бит для снижения расхода памяти
• 04Гибридный инференс на CPU и GPU для моделей, превышающих доступный объём VRAM
• 05Совместимый с OpenAI API-сервер со встроенным веб-интерфейсом

Сценарии использования

• Запуск LLM с открытыми весами локально на ноутбуке или настольном компьютере без облачного сервиса
• Запуск локальной конечной точки, совместимой с OpenAI API, для приложений, уже использующих этот API
• Запуск квантованных моделей на устройствах с ограниченной памятью или на периферийном оборудовании
• Эксперименты с инференсом на конкретных ускорителях, например Apple silicon, GPU с Vulkan или NPU Ascend

Быстрый старт

1. 1

   Запустите официальный скрипт установки из README

2. 2

   Скачайте готовые бинарные файлы со страницы релизов

3. 3

   Скачайте и запустите модель напрямую с Hugging Face

   llama cli -hf ggml-org/Qwen3.5-0.8B-GGUF
4. 4

   Запустите API-сервер, совместимый с OpenAI

   llama serve -hf ggml-org/Qwen3.5-0.8B-GGUF

Что важно знать

• !Некоторые бэкенды, например CUDA, Metal и SYCL, работают только на определённом оборудовании.
• !Бэкенд OpenVINO всё ещё помечен как находящийся в разработке.

Темы

Частые вопросы

Что такое llama.cpp?

Движок для инференса LLM и мультимодальных моделей на C/C++, работающий локально и в облаке на разных аппаратных платформах. llama.cpp — движок для инференса больших языковых моделей (LLM) и мультимодальных моделей, работающий с изображениями (VLM). Он написан на C/C++ без внешних зависимостей. Проект упрощает настройку инференса и обеспечивает высокую скорость на широком спектре оборудования — как на персональных компьютерах, так и в облаке. В основе лежит тензорная библиотека ggml.

llama.cpp можно использовать бесплатно? Какая у него лицензия?

llama.cpp распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.

llama.cpp всё ещё поддерживается?

Активно поддерживается. Последний коммит в llama.cpp — 20 окт. 2026 г..

Для чего можно использовать llama.cpp?

Запуск LLM с открытыми весами локально на ноутбуке или настольном компьютере без облачного сервиса Запуск локальной конечной точки, совместимой с OpenAI API, для приложений, уже использующих этот API Запуск квантованных моделей на устройствах с ограниченной памятью или на периферийном оборудовании Эксперименты с инференсом на конкретных ускорителях, например Apple silicon, GPU с Vulkan или NPU Ascend

Как установить llama.cpp?

Запустите официальный скрипт установки из README Скачайте готовые бинарные файлы со страницы релизов Скачайте и запустите модель напрямую с Hugging Face: llama cli -hf ggml-org/Qwen3.5-0.8B-GGUF Запустите API-сервер, совместимый с OpenAI: llama serve -hf ggml-org/Qwen3.5-0.8B-GGUF

Где скачать llama.cpp?

Исходный код и инструкции по установке — на GitHub: https://github.com/ggml-org/llama.cpp