ggml-org/llama.cpp

这是什么？

核心功能

• 01纯 C/C++ 实现，无外部依赖
• 02支持 Apple Metal、x86 AVX/AMX、CUDA、HIP、Vulkan、SYCL 等多种加速后端
• 03提供 1.5 位至 8 位的整数量化，降低内存占用
• 04支持 CPU 与 GPU 混合推理，可运行超出显存容量的模型
• 05提供兼容 OpenAI 接口的 API 服务及内置 Web 界面

适用场景

• 在笔记本或台式机上本地运行开源权重的大语言模型
• 为已使用 OpenAI 接口的应用提供本地兼容的 API 端点
• 在内存有限的设备或边缘硬件上运行量化模型
• 在 Apple 芯片、Vulkan GPU、昇腾 NPU 等特定加速器上进行推理实验

快速上手

1. 1

   运行 README 中的官方安装脚本

2. 2

   从发布页面下载预编译二进制文件

3. 3

   直接从 Hugging Face 下载并运行模型

   llama cli -hf ggml-org/Qwen3.5-0.8B-GGUF
4. 4

   启动兼容 OpenAI 的 API 服务器

   llama serve -hf ggml-org/Qwen3.5-0.8B-GGUF

使用前须知

• !部分后端（如 CUDA、Metal、SYCL）仅适用于特定硬件。
• !OpenVINO 后端仍处于开发中。

标签

常见问题

llama.cpp 是什么？

纯 C/C++ 实现的 LLM 推理引擎，可在本地或云端运行大语言模型与视觉语言模型，支持多种硬件后端。 llama.cpp 是一个用于大语言模型（LLM）和视觉语言模型（VLM）推理的引擎，使用纯 C/C++ 编写，没有外部依赖。它的目标是在个人电脑和云端的各类硬件上，以较低的配置成本实现高效推理。项目基于 ggml 张量库构建。

llama.cpp 可以免费使用吗？用的什么许可证？

llama.cpp 以 MIT 许可证开源。用于商业产品前，请先确认许可证条款。

llama.cpp 还在维护吗？

活跃维护中。llama.cpp 最近一次提交是在 2026年10月20日。

llama.cpp 适合用来做什么？

在笔记本或台式机上本地运行开源权重的大语言模型 为已使用 OpenAI 接口的应用提供本地兼容的 API 端点 在内存有限的设备或边缘硬件上运行量化模型 在 Apple 芯片、Vulkan GPU、昇腾 NPU 等特定加速器上进行推理实验

llama.cpp 怎么安装和运行？

运行 README 中的官方安装脚本 从发布页面下载预编译二进制文件 直接从 Hugging Face 下载并运行模型: llama cli -hf ggml-org/Qwen3.5-0.8B-GGUF 启动兼容 OpenAI 的 API 服务器: llama serve -hf ggml-org/Qwen3.5-0.8B-GGUF

在哪里获取 llama.cpp？

源代码和安装说明在 GitHub 上：https://github.com/ggml-org/llama.cpp