withcatai/node-llama-cpp

O que é?

Recursos principais

• 01Executa modelos GGUF localmente, com suporte a GPU via Metal, CUDA e Vulkan
• 02Inclui binários pré-compilados e usa cmake como alternativa para compilar o llama.cpp a partir do código-fonte
• 03Restringe a saída gerada a JSON ou a um JSON Schema específico
• 04Oferece suporte à chamada de funções para que os modelos executem seu código quando necessário
• 05Disponibiliza APIs de embeddings e reranking com tipagem completa em TypeScript
• 06Inclui uma CLI para conversar com um modelo sem escrever código

Casos de uso

• Adicionar um LLM local a uma aplicação Node.js ou TypeScript sem usar uma API na nuvem
• Obter saídas JSON estruturadas de um modelo para processamento posterior
• Criar pipelines de recuperação que precisam de embeddings e reranking locais
• Testar modelos GGUF pelo terminal antes de integrá-los

Início rápido

1. 1

   Instale o pacote com npm

   npm install node-llama-cpp
2. 2

   Converse com um modelo no terminal sem instalar nada (um único comando)

   npx -y node-llama-cpp chat
3. 3

   Carregue um modelo GGUF e execute o exemplo de uso do README (consulte o guia de introdução para ver o código)

Antes de usar

• !Você precisa de um arquivo de modelo GGUF local, que deve baixar separadamente.
• !Os binários pré-compilados estão disponíveis apenas para macOS, Linux e Windows; em outras plataformas, é necessário compilar o llama.cpp a partir do código-fonte com cmake.

Em coleções

Tópicos

Perguntas frequentes

O que é node-llama-cpp?

Bindings de Node.js para llama.cpp que permitem executar LLMs localmente, com suporte a GPU e saída restrita por JSON Schema. node-llama-cpp é uma biblioteca TypeScript/Node.js que executa modelos de linguagem grandes diretamente na sua máquina. Ela encapsula o llama.cpp e inclui binários pré-compilados para macOS, Linux e Windows; se não houver um binário compatível com a plataforma, compila o llama.cpp a partir do código-fonte usando cmake.

node-llama-cpp é gratuito? Qual é a licença?

node-llama-cpp é open source sob a licença MIT. Confira os termos da licença antes de usá-lo em produtos comerciais.

node-llama-cpp ainda é mantido?

Manutenção ativa. O último commit de node-llama-cpp foi em 5 de nov. de 2026.

Para que posso usar node-llama-cpp?

Adicionar um LLM local a uma aplicação Node.js ou TypeScript sem usar uma API na nuvem Obter saídas JSON estruturadas de um modelo para processamento posterior Criar pipelines de recuperação que precisam de embeddings e reranking locais Testar modelos GGUF pelo terminal antes de integrá-los

Como instalar node-llama-cpp?

Instale o pacote com npm: npm install node-llama-cpp Converse com um modelo no terminal sem instalar nada (um único comando): npx -y node-llama-cpp chat Carregue um modelo GGUF e execute o exemplo de uso do README (consulte o guia de introdução para ver o código)

Onde consigo node-llama-cpp?

O código-fonte e as instruções de instalação estão no GitHub: https://github.com/withcatai/node-llama-cpp