withcatai/node-llama-cpp

¿Qué es?

Funciones clave

• 01Ejecuta modelos GGUF localmente con compatibilidad con GPU mediante Metal, CUDA y Vulkan
• 02Incluye binarios precompilados y, si no hay uno compatible, compila llama.cpp desde el código fuente con cmake
• 03Restringe la salida generada a JSON o a un esquema JSON específico
• 04Admite llamadas a funciones para que los modelos ejecuten tu código cuando sea necesario
• 05Ofrece APIs de embeddings y reranking con tipos completos de TypeScript
• 06Incluye una CLI para chatear con un modelo sin escribir código

Casos de uso

• Añadir un LLM local a una aplicación de Node.js o TypeScript sin usar una API en la nube
• Obtener una salida JSON estructurada de un modelo para procesarla posteriormente
• Crear pipelines de recuperación que necesiten embeddings locales y reranking
• Probar modelos GGUF desde la terminal antes de integrarlos

Inicio rápido

1. 1

   Instala el paquete con npm

   npm install node-llama-cpp
2. 2

   Chatea con un modelo desde la terminal sin instalar nada (un solo comando)

   npx -y node-llama-cpp chat
3. 3

   Carga un modelo GGUF y ejecuta el ejemplo de uso del README (consulta la guía de inicio para ver el código)

Antes de usarlo

• !Necesitas un archivo de modelo GGUF local, que debes descargar por separado.
• !Los binarios precompilados solo están disponibles para macOS, Linux y Windows; en otras plataformas, tendrás que compilar llama.cpp desde el código fuente con cmake.

En colecciones

Temas

Preguntas frecuentes

¿Qué es node-llama-cpp?

Bindings de Node.js para llama.cpp que permiten ejecutar LLMs localmente, con GPU y salida restringida mediante esquemas JSON. node-llama-cpp es una biblioteca de TypeScript/Node.js que ejecuta modelos de lenguaje grandes directamente en tu equipo. Es una capa sobre llama.cpp e incluye binarios precompilados para macOS, Linux y Windows; si no hay uno compatible con la plataforma, compila llama.cpp desde el código fuente con cmake.

¿node-llama-cpp es gratuito? ¿Qué licencia tiene?

node-llama-cpp es open source bajo la licencia MIT. Revisa los términos de la licencia antes de usarlo en productos comerciales.

¿node-llama-cpp sigue mantenido?

Mantenimiento activo. El último commit de node-llama-cpp fue el 5 nov 2026.

¿Para qué puedo usar node-llama-cpp?

Añadir un LLM local a una aplicación de Node.js o TypeScript sin usar una API en la nube Obtener una salida JSON estructurada de un modelo para procesarla posteriormente Crear pipelines de recuperación que necesiten embeddings locales y reranking Probar modelos GGUF desde la terminal antes de integrarlos

¿Cómo se instala node-llama-cpp?

Instala el paquete con npm: npm install node-llama-cpp Chatea con un modelo desde la terminal sin instalar nada (un solo comando): npx -y node-llama-cpp chat Carga un modelo GGUF y ejecuta el ejemplo de uso del README (consulta la guía de inicio para ver el código)

¿Dónde consigo node-llama-cpp?

El código fuente y las instrucciones de instalación están en GitHub: https://github.com/withcatai/node-llama-cpp