withcatai/node-llama-cpp

これは何？

主な機能

• 01Metal、CUDA、VulkanによるGPU対応でGGUFモデルをローカル実行
• 02ビルド済みバイナリを提供し、利用できない場合はcmakeでllama.cppをソースからビルド
• 03生成される出力をJSONまたは特定のJSON Schemaに制約
• 04function callingに対応し、モデルから必要に応じてコードを呼び出し可能
• 05完全なTypeScript型定義を備えた埋め込み・リランキングAPIを提供
• 06コードを書かずにモデルとチャットできるCLIを搭載

ユースケース

• クラウドAPIを使わずにNode.jsまたはTypeScriptアプリへローカルLLMを追加する
• 後続処理でパースできる構造化JSONをモデルから取得する
• ローカルの埋め込みとリランキングが必要な検索パイプラインを構築する
• GGUFモデルを統合する前にターミナルから試す

クイックスタート

1. 1

   npmでパッケージをインストールする

   npm install node-llama-cpp
2. 2

   インストールせずにターミナルでモデルとチャットする（1つのコマンドで実行）

   npx -y node-llama-cpp chat
3. 3

   GGUFモデルを読み込み、READMEの使用例を実行する（コードはスタートガイドを参照）

使う前に知っておきたいこと

• !ローカルのGGUFモデルファイルが必要です。別途ダウンロードしてください。
• !ビルド済みバイナリはmacOS、Linux、Windowsのみ対応しています。それ以外のプラットフォームでは、llama.cppをソースからcmakeでビルドします。

収録されている特集

トピック

よくある質問

node-llama-cpp とは？

GPU対応とJSON Schemaに沿った出力を備え、LLMをローカルで実行できるllama.cppのNode.jsバインディング。 node-llama-cppは、大規模言語モデルを自分のマシン上で直接実行するTypeScript/Node.jsライブラリです。llama.cppをラップし、macOS、Linux、Windows向けのビルド済みバイナリを同梱しています。プラットフォームに合うバイナリがない場合は、cmakeでllama.cppをソースからコンパイルします。

node-llama-cpp は無料で使えますか？ライセンスは？

node-llama-cpp は MIT ライセンスのオープンソースです。商用製品で使う前にライセンス条件を確認してください。

node-llama-cpp は今もメンテナンスされていますか？

活発にメンテナンス中。node-llama-cpp の最終コミットは 2026年11月5日 です。

node-llama-cpp は何に使えますか？

クラウドAPIを使わずにNode.jsまたはTypeScriptアプリへローカルLLMを追加する 後続処理でパースできる構造化JSONをモデルから取得する ローカルの埋め込みとリランキングが必要な検索パイプラインを構築する GGUFモデルを統合する前にターミナルから試す

node-llama-cpp のインストール方法は？

npmでパッケージをインストールする: npm install node-llama-cpp インストールせずにターミナルでモデルとチャットする（1つのコマンドで実行）: npx -y node-llama-cpp chat GGUFモデルを読み込み、READMEの使用例を実行する（コードはスタートガイドを参照）

node-llama-cpp はどこで入手できますか？

ソースコードとインストール手順は GitHub にあります：https://github.com/withcatai/node-llama-cpp