withcatai/node-llama-cpp

这是什么？

核心功能

• 01在本地运行 GGUF 模型，支持 Metal、CUDA 和 Vulkan 显卡加速
• 02提供预编译二进制文件，缺失时可从源码用 cmake 构建 llama.cpp
• 03可将生成结果约束为 JSON 或指定的 JSON Schema
• 04支持函数调用，让模型按需调用你的代码
• 05提供向量嵌入和重排序接口，并带有完整的 TypeScript 类型
• 06内置命令行工具，无需写代码即可与模型对话

适用场景

• 在 Node.js 或 TypeScript 应用中接入本地大模型，无需调用云端 API
• 让模型输出结构化 JSON，便于后续程序解析
• 构建需要本地向量嵌入和重排序的检索流程
• 在集成前通过终端快速测试 GGUF 模型

快速上手

1. 1

   使用 npm 安装该包

   npm install node-llama-cpp
2. 2

   无需安装，直接在终端中与模型聊天（单条命令）

   npx -y node-llama-cpp chat
3. 3

   加载 GGUF 模型并运行 README 中的示例代码（代码见入门指南）

使用前须知

• !你需要自行下载本地 GGUF 模型文件。
• !预编译二进制文件仅覆盖 macOS、Linux 和 Windows；其他平台需要回退到使用 cmake 从源码构建 llama.cpp。

收录于专题

标签

常见问题

node-llama-cpp 是什么？

基于 llama.cpp 的 Node.js 绑定，可在本地运行大模型，支持 GPU 加速和 JSON Schema 约束输出。 node-llama-cpp 是一个 TypeScript/Node.js 库，可以直接在本机运行大语言模型。它封装了 llama.cpp，为 macOS、Linux 和 Windows 提供预编译二进制文件；当没有匹配的预编译版本时，会自动下载 llama.cpp 并用 cmake 从源码构建。

node-llama-cpp 可以免费使用吗？用的什么许可证？

node-llama-cpp 以 MIT 许可证开源。用于商业产品前，请先确认许可证条款。

node-llama-cpp 还在维护吗？

活跃维护中。node-llama-cpp 最近一次提交是在 2026年11月5日。

node-llama-cpp 适合用来做什么？

在 Node.js 或 TypeScript 应用中接入本地大模型，无需调用云端 API 让模型输出结构化 JSON，便于后续程序解析 构建需要本地向量嵌入和重排序的检索流程 在集成前通过终端快速测试 GGUF 模型

node-llama-cpp 怎么安装和运行？

使用 npm 安装该包: npm install node-llama-cpp 无需安装，直接在终端中与模型聊天（单条命令）: npx -y node-llama-cpp chat 加载 GGUF 模型并运行 README 中的示例代码（代码见入门指南）

在哪里获取 node-llama-cpp？

源代码和安装说明在 GitHub 上：https://github.com/withcatai/node-llama-cpp