utilityai/llama-cpp-rs

这是什么？

核心功能

• 01通过 llama-cpp-2 crate 提供 llama.cpp 的 Rust 绑定。
• 02可加载 GGUF 模型文件进行本地文本生成。
• 03附带底层 llama-cpp-sys-2 绑定，与上层 crate 配套使用。
• 04通过 cargo 功能开关支持 CUDA GPU 加速。
• 05接口紧跟上游 llama.cpp，便于及时同步更新。

适用场景

• 在 Rust 应用中直接嵌入本地大模型推理，无需单独部署服务。
• 在本机运行 Llama 2 等量化 GGUF 模型。
• 开发需要直接调用 llama.cpp 功能的 Rust 工具。

快速上手

1. 1

   克隆仓库及其子模块

   git clone --recursive https://github.com/utilityai/llama-cpp-rs
2. 2

   进入项目目录

   cd llama-cpp-rs
3. 3

   运行简单示例（若有 CUDA GPU，可添加 --features cuda）

   cargo run --release --bin simple -- --prompt "The way to kill a linux process is" hf-model TheBloke/Llama-2-7B-GGUF llama-2-7b.Q4_K_M.gguf

使用前须知

• !该项目紧跟 llama.cpp 更新，接近原始绑定，且不严格遵循语义化版本。
• !构建示例需要克隆 git 子模块并配置可用的 Rust 工具链。

收录于专题

标签

常见问题

llama-cpp-rs 是什么？

llama.cpp 的 Rust 绑定，让 Rust 程序可以在本地加载并运行 GGUF 格式的语言模型。 llama-cpp-rs 是 llama.cpp 的 Rust 绑定。llama.cpp 是用于运行大语言模型的 C/C++ 库。项目以 llama-cpp-2 crate 发布在 crates.io 上，底层绑定则由 llama-cpp-sys-2 提供。

llama-cpp-rs 可以免费使用吗？用的什么许可证？

llama-cpp-rs 以 Apache-2.0 许可证开源。用于商业产品前，请先确认许可证条款。

llama-cpp-rs 还在维护吗？

活跃维护中。llama-cpp-rs 最近一次提交是在 2026年11月4日。

llama-cpp-rs 适合用来做什么？

在 Rust 应用中直接嵌入本地大模型推理，无需单独部署服务。 在本机运行 Llama 2 等量化 GGUF 模型。 开发需要直接调用 llama.cpp 功能的 Rust 工具。

llama-cpp-rs 怎么安装和运行？

克隆仓库及其子模块: git clone --recursive https://github.com/utilityai/llama-cpp-rs 进入项目目录: cd llama-cpp-rs 运行简单示例（若有 CUDA GPU，可添加 --features cuda）: cargo run --release --bin simple -- --prompt "The way to kill a linux process is" hf-model TheBloke/Llama-2-7B-GGUF llama-2-7b.Q4_K_M.gguf

在哪里获取 llama-cpp-rs？

源代码和安装说明在 GitHub 上：https://github.com/utilityai/llama-cpp-rs