SciSharp/LLamaSharp

这是什么？

核心功能

• 01加载 GGUF 模型文件，在本地运行 LLaMA 系列模型。
• 02通过 NuGet 提供 CPU、CUDA、Metal 和 Vulkan 后端包。
• 03为 C# 应用提供聊天会话、执行器和采样等 API。
• 04支持 RAG 与 LLaVA 多模态模型。
• 05可与 Semantic Kernel 等 .NET AI 框架集成。

适用场景

• 在 .NET 桌面或 Web 应用中加入离线聊天机器人。
• 在本地 GPU 上运行私有大模型，数据无需发送到云端 API。
• 在 C# 项目中结合本地模型实现 RAG 功能。
• 在 .NET 中试用 Hugging Face 上的 GGUF 模型。

快速上手

1. 1

   从 NuGet 安装 LLamaSharp 包

   PM> Install-Package LLamaSharp
2. 2

   安装一个或多个与你设备匹配的后端包（CPU、CUDA、Vulkan）

3. 3

   下载一个 GGUF 模型文件，例如从 Huggingface 获取

4. 4

   将 README 中的聊天示例代码放入项目，并设置你的模型路径

使用前须知

• !模型必须是 GGUF 格式，较旧的 GGUF 文件可能无法用于较新的版本。
• !GPU 加速需要与你的 CUDA 或 Vulkan 环境匹配的后端包，不支持的设备可能需要自行编译后端。

标签

常见问题

LLamaSharp 是什么？

基于 llama.cpp 的 C#/.NET 库，可在本地 CPU 或 GPU 上运行 LLaMA 等大语言模型。 LLamaSharp 是一个跨平台的 .NET 库，用于在本地设备上运行 LLaMA 等大语言模型。它基于 llama.cpp 的原生后端，C# 和 .NET 应用无需额外部署服务，即可加载 GGUF 格式模型并进行推理，支持 CPU 与 GPU 运行。

LLamaSharp 可以免费使用吗？用的什么许可证？

LLamaSharp 以 MIT 许可证开源。用于商业产品前，请先确认许可证条款。

LLamaSharp 还在维护吗？

活跃维护中。LLamaSharp 最近一次提交是在 2026年10月17日。

LLamaSharp 适合用来做什么？

在 .NET 桌面或 Web 应用中加入离线聊天机器人。 在本地 GPU 上运行私有大模型，数据无需发送到云端 API。 在 C# 项目中结合本地模型实现 RAG 功能。 在 .NET 中试用 Hugging Face 上的 GGUF 模型。

LLamaSharp 怎么安装和运行？

从 NuGet 安装 LLamaSharp 包: PM> Install-Package LLamaSharp 安装一个或多个与你设备匹配的后端包（CPU、CUDA、Vulkan） 下载一个 GGUF 模型文件，例如从 Huggingface 获取 将 README 中的聊天示例代码放入项目，并设置你的模型路径

在哪里获取 LLamaSharp？

源代码和安装说明在 GitHub 上：https://github.com/SciSharp/LLamaSharp