ggml-org/llama.cpp

어떤 프로젝트인가요?

핵심 기능

• 01외부 의존성이 없는 순수 C/C++ 구현
• 02Apple Metal, x86 AVX/AMX, CUDA, HIP, Vulkan, SYCL 등 하드웨어 가속 지원
• 03메모리 사용량을 줄이는 1.5비트~8비트 정수 양자화
• 04사용 가능한 VRAM보다 큰 모델을 위한 CPU+GPU 하이브리드 추론
• 05내장 웹 UI가 포함된 OpenAI 호환 API 서버

활용 사례

• 클라우드 서비스 없이 노트북이나 데스크톱에서 오픈 웨이트 LLM 실행
• 해당 API를 사용하는 애플리케이션에서 로컬 OpenAI 호환 엔드포인트 제공
• 메모리가 제한된 하드웨어나 엣지 기기에서 양자화 모델 실행
• Apple silicon, Vulkan GPU, Ascend NPU 등 특정 가속기에서 추론 실험

빠른 시작

1. 1

   README에 있는 공식 설치 스크립트를 실행합니다

2. 2

   릴리스 페이지에서 사전 빌드된 바이너리를 다운로드합니다

3. 3

   Hugging Face에서 모델을 직접 다운로드하고 실행합니다

   llama cli -hf ggml-org/Qwen3.5-0.8B-GGUF
4. 4

   OpenAI 호환 API 서버를 실행합니다

   llama serve -hf ggml-org/Qwen3.5-0.8B-GGUF

사용 전 알아둘 점

• !CUDA, Metal, SYCL 등의 백엔드는 특정 하드웨어에서만 사용할 수 있습니다.
• !OpenVINO 백엔드는 아직 개발 중으로 표시되어 있습니다.

토픽

자주 묻는 질문

llama.cpp은(는) 무엇인가요?

다양한 하드웨어 백엔드에서 대규모 언어·비전 언어 모델을 로컬이나 클라우드에서 실행하는 순수 C/C++ LLM 추론 엔진입니다. llama.cpp는 외부 의존성 없이 순수 C/C++로 작성된 대규모 언어 모델(LLM) 및 비전 언어 모델(VLM) 추론 엔진입니다. 개인용 컴퓨터와 클라우드 모두에서 다양한 하드웨어를 활용해 모델 추론을 쉽게 설정하고 빠르게 실행하는 것을 목표로 합니다. ggml 텐서 라이브러리를 기반으로 합니다.

llama.cpp은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

llama.cpp은(는) MIT 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

llama.cpp은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. llama.cpp의 마지막 커밋은 2026년 10월 20일입니다.

llama.cpp은(는) 어디에 사용할 수 있나요?

클라우드 서비스 없이 노트북이나 데스크톱에서 오픈 웨이트 LLM 실행 해당 API를 사용하는 애플리케이션에서 로컬 OpenAI 호환 엔드포인트 제공 메모리가 제한된 하드웨어나 엣지 기기에서 양자화 모델 실행 Apple silicon, Vulkan GPU, Ascend NPU 등 특정 가속기에서 추론 실험

llama.cpp는 어떻게 설치하나요?

README에 있는 공식 설치 스크립트를 실행합니다 릴리스 페이지에서 사전 빌드된 바이너리를 다운로드합니다 Hugging Face에서 모델을 직접 다운로드하고 실행합니다: llama cli -hf ggml-org/Qwen3.5-0.8B-GGUF OpenAI 호환 API 서버를 실행합니다: llama serve -hf ggml-org/Qwen3.5-0.8B-GGUF

llama.cpp은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/ggml-org/llama.cpp