withcatai/node-llama-cpp

Что это?

Ключевые возможности

• 01Запускает GGUF-модели локально с поддержкой GPU через Metal, CUDA и Vulkan
• 02Поставляется с готовыми бинарными файлами и при необходимости собирает llama.cpp из исходников с помощью cmake
• 03Ограничивает генерируемый вывод форматом JSON или конкретной JSON-схемой
• 04Поддерживает вызов функций, чтобы модели могли при необходимости выполнять ваш код
• 05Предоставляет API для эмбеддингов и переранжирования с полными типами TypeScript
• 06Включает CLI, позволяющий общаться с моделью без написания кода

Сценарии использования

• Добавление локальной LLM в приложение на Node.js или TypeScript без облачного API
• Получение структурированного JSON от модели для дальнейшего разбора
• Построение retrieval-пайплайнов, которым нужны локальные эмбеддинги и переранжирование
• Знакомство с GGUF-моделями в терминале перед интеграцией

Быстрый старт

1. 1

   Установите пакет с помощью npm

   npm install node-llama-cpp
2. 2

   Общайтесь с моделью в терминале без установки (одной командой)

   npx -y node-llama-cpp chat
3. 3

   Загрузите модель GGUF и запустите пример использования из README (код см. в руководстве для начала работы)

Что важно знать

• !Вам понадобится локальный файл модели GGUF, который нужно скачать отдельно.
• !Готовые бинарные файлы доступны только для macOS, Linux и Windows; на других платформах потребуется собрать llama.cpp из исходного кода с помощью cmake.

В подборках

Темы

Частые вопросы

Что такое node-llama-cpp?

Node.js-обёртка для llama.cpp, позволяющая запускать LLM локально, использовать GPU и ограничивать вывод JSON-схемой. node-llama-cpp — библиотека для TypeScript/Node.js, которая запускает большие языковые модели прямо на вашем компьютере. Она оборачивает llama.cpp и поставляется с готовыми бинарными файлами для macOS, Linux и Windows. Если для платформы подходящего бинарного файла нет, библиотека собирает llama.cpp из исходников с помощью cmake.

node-llama-cpp можно использовать бесплатно? Какая у него лицензия?

node-llama-cpp распространяется с открытым исходным кодом под лицензией MIT. Перед использованием в коммерческих продуктах проверьте условия лицензии.

node-llama-cpp всё ещё поддерживается?

Активно поддерживается. Последний коммит в node-llama-cpp — 5 нояб. 2026 г..

Для чего можно использовать node-llama-cpp?

Добавление локальной LLM в приложение на Node.js или TypeScript без облачного API Получение структурированного JSON от модели для дальнейшего разбора Построение retrieval-пайплайнов, которым нужны локальные эмбеддинги и переранжирование Знакомство с GGUF-моделями в терминале перед интеграцией

Как установить node-llama-cpp?

Установите пакет с помощью npm: npm install node-llama-cpp Общайтесь с моделью в терминале без установки (одной командой): npx -y node-llama-cpp chat Загрузите модель GGUF и запустите пример использования из README (код см. в руководстве для начала работы)

Где скачать node-llama-cpp?

Исходный код и инструкции по установке — на GitHub: https://github.com/withcatai/node-llama-cpp