LostRuins/koboldcpp

这是什么？

核心功能

• 01支持在 CPU 或 GPU 上运行 GGUF 文本模型，可完全或部分卸载到 GPU。
• 02以单个可执行文件发布，无需安装，也没有外部依赖。
• 03内置 KoboldAI Lite 与 llama.cpp 网页界面，支持记忆、世界设定和角色卡。
• 04配合兼容模型生成图像、视频、语音和音乐。
• 05提供 OpenAI、Ollama、KoboldAI 等兼容 API 接口。

适用场景

• 在本机完全离线地与私有 AI 助手聊天。
• 借助角色卡、世界设定和故事存档进行角色扮演与互动小说创作。
• 将已有的 OpenAI 或 Ollama 兼容应用接入本地模型服务。
• 在文本模型之外，本地尝试图像、语音或音乐生成。

快速上手

1. 1

   从最新发布页面下载适用于你操作系统的 KoboldCpp 可执行文件

2. 2

   从 Hugging Face 单独下载一个 GGUF 文本模型

3. 3

   使用你的模型文件启动 KoboldCpp（以 Linux 为例）

   ./koboldcpp-linux-x64 --model /path/to/model.gguf
4. 4

   在浏览器中打开 localhost 的 5001 端口访问 Web UI

使用前须知

• !采用 AGPL-3.0 许可证，这是一种 copyleft 许可证，分发或通过网络提供修改版本时需要公开源代码。
• !不包含模型文件，需要单独下载。

收录于专题

标签

常见问题

koboldcpp 是什么？

单文件本地运行 GGUF 大模型的工具，内置 KoboldAI 网页界面，支持文本、图像、语音和音乐生成。 KoboldCpp 可以在自己的电脑上运行 GGUF 格式的大语言模型，支持 CPU 或 GPU，无需安装。下载的是单个可执行文件，适用于 Windows、Linux 和 macOS。模型加载后，它会提供内置的 KoboldAI Lite 网页界面，用于聊天、角色扮演、冒险和故事创作，同时还附带 llama.cpp 网页界面等其他入口。

koboldcpp 可以免费使用吗？用的什么许可证？

koboldcpp 以 AGPL-3.0 许可证开源。用于商业产品前，请先确认许可证条款。

koboldcpp 还在维护吗？

活跃维护中。koboldcpp 最近一次提交是在 2026年11月6日。

koboldcpp 适合用来做什么？

在本机完全离线地与私有 AI 助手聊天。 借助角色卡、世界设定和故事存档进行角色扮演与互动小说创作。 将已有的 OpenAI 或 Ollama 兼容应用接入本地模型服务。 在文本模型之外，本地尝试图像、语音或音乐生成。

koboldcpp 怎么安装和运行？

从最新发布页面下载适用于你操作系统的 KoboldCpp 可执行文件 从 Hugging Face 单独下载一个 GGUF 文本模型 使用你的模型文件启动 KoboldCpp（以 Linux 为例）: ./koboldcpp-linux-x64 --model /path/to/model.gguf 在浏览器中打开 localhost 的 5001 端口访问 Web UI

在哪里获取 koboldcpp？

源代码和安装说明在 GitHub 上：https://github.com/LostRuins/koboldcpp