withcatai/node-llama-cpp

어떤 프로젝트인가요?

핵심 기능

• 01Metal, CUDA, Vulkan GPU 지원을 통해 GGUF 모델을 로컬에서 실행
• 02사전 빌드 바이너리를 제공하며, 필요하면 cmake로 llama.cpp를 소스에서 빌드
• 03생성되는 출력을 JSON 또는 지정한 JSON 스키마로 제한
• 04함수 호출을 지원해 모델이 필요할 때 코드를 실행하도록 함
• 05완전한 TypeScript 타입을 제공하는 임베딩 및 리랭킹 API
• 06코드를 작성하지 않고 모델과 대화할 수 있는 CLI 제공

활용 사례

• 클라우드 API 없이 Node.js 또는 TypeScript 앱에 로컬 LLM 추가
• 후속 파싱을 위해 모델에서 구조화된 JSON 출력 얻기
• 로컬 임베딩과 리랭킹이 필요한 검색 파이프라인 구축
• 통합하기 전에 터미널에서 GGUF 모델 시험 사용

빠른 시작

1. 1

   npm으로 패키지 설치

   npm install node-llama-cpp
2. 2

   설치 없이 터미널에서 모델과 채팅하기(명령 하나로 실행)

   npx -y node-llama-cpp chat
3. 3

   GGUF 모델을 불러와 README의 사용 예제 실행하기(코드는 시작 가이드 참고)

사용 전 알아둘 점

• !로컬 GGUF 모델 파일이 필요하며, 별도로 다운로드해야 합니다.
• !사전 빌드된 바이너리는 macOS, Linux, Windows만 지원합니다. 그 외 플랫폼에서는 llama.cpp를 소스에서 cmake로 빌드해야 합니다.

포함된 컬렉션

토픽

자주 묻는 질문

node-llama-cpp은(는) 무엇인가요?

GPU 지원과 JSON 스키마 기반 출력 제약 기능을 갖춘 llama.cpp용 Node.js 바인딩으로, 로컬에서 LLM을 실행합니다. node-llama-cpp는 대규모 언어 모델을 사용자 컴퓨터에서 직접 실행하는 TypeScript/Node.js 라이브러리입니다. llama.cpp를 감싸며 macOS, Linux, Windows용 사전 빌드 바이너리를 제공합니다. 플랫폼에 맞는 바이너리가 없으면 cmake로 llama.cpp를 소스에서 빌드합니다.

node-llama-cpp은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

node-llama-cpp은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

node-llama-cpp은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. node-llama-cpp의 마지막 커밋은 2026년 11월 5일입니다.

node-llama-cpp은(는) 어디에 사용할 수 있나요?

클라우드 API 없이 Node.js 또는 TypeScript 앱에 로컬 LLM 추가 후속 파싱을 위해 모델에서 구조화된 JSON 출력 얻기 로컬 임베딩과 리랭킹이 필요한 검색 파이프라인 구축 통합하기 전에 터미널에서 GGUF 모델 시험 사용

node-llama-cpp는 어떻게 설치하나요?

npm으로 패키지 설치: npm install node-llama-cpp 설치 없이 터미널에서 모델과 채팅하기(명령 하나로 실행): npx -y node-llama-cpp chat GGUF 모델을 불러와 README의 사용 예제 실행하기(코드는 시작 가이드 참고)

node-llama-cpp은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/withcatai/node-llama-cpp