utilityai/llama-cpp-rs

어떤 프로젝트인가요?

핵심 기능

• 01llama-cpp-2 crate를 통해 llama.cpp의 Rust 바인딩을 제공합니다.
• 02GGUF 모델 파일을 불러와 로컬에서 텍스트를 생성합니다.
• 03상위 수준 crate와 함께 저수준 llama-cpp-sys-2 바인딩도 제공합니다.
• 04cargo feature flag를 통해 CUDA GPU 가속을 지원합니다.
• 05빠르게 업데이트할 수 있도록 upstream llama.cpp API에 가깝게 유지합니다.

활용 사례

• 별도의 서버 없이 Rust 애플리케이션에 로컬 LLM 추론 기능을 포함합니다.
• Llama 2 같은 양자화 GGUF 모델을 로컬 머신에서 실행합니다.
• llama.cpp 기능에 직접 접근해야 하는 Rust 도구를 개발합니다.

빠른 시작

1. 1

   하위 모듈을 포함해 저장소를 클론합니다

   git clone --recursive https://github.com/utilityai/llama-cpp-rs
2. 2

   프로젝트 디렉터리로 이동합니다

   cd llama-cpp-rs
3. 3

   간단한 예제를 실행합니다(CUDA GPU가 있다면 --features cuda를 추가하세요)

   cargo run --release --bin simple -- --prompt "The way to kill a linux process is" hf-model TheBloke/Llama-2-7B-GGUF llama-2-7b.Q4_K_M.gguf

사용 전 알아둘 점

• !이 프로젝트는 llama.cpp를 긴밀하게 추적하도록 만들어져 있어 원시 바인딩에 가까우며, semver를 의미 있게 따르지 않습니다.
• !예제를 빌드하려면 git 하위 모듈을 클론하고 정상적으로 작동하는 Rust 툴체인이 필요합니다.

포함된 컬렉션

토픽

자주 묻는 질문

llama-cpp-rs은(는) 무엇인가요?

llama-cpp-2 crate를 통해 Rust 프로그램에서 GGUF 언어 모델을 로컬로 불러와 실행할 수 있도록 llama.cpp 바인딩을 제공합니다. llama-cpp-rs는 대규모 언어 모델을 실행하는 C/C++ 라이브러리인 llama.cpp의 Rust 바인딩을 제공합니다. crates.io에서는 llama-cpp-2 crate로 배포되며, 저수준 바인딩은 llama-cpp-sys-2 crate에 포함되어 있습니다.

llama-cpp-rs은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

llama-cpp-rs은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

llama-cpp-rs은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. llama-cpp-rs의 마지막 커밋은 2026년 11월 4일입니다.

llama-cpp-rs은(는) 어디에 사용할 수 있나요?

별도의 서버 없이 Rust 애플리케이션에 로컬 LLM 추론 기능을 포함합니다. Llama 2 같은 양자화 GGUF 모델을 로컬 머신에서 실행합니다. llama.cpp 기능에 직접 접근해야 하는 Rust 도구를 개발합니다.

llama-cpp-rs는 어떻게 설치하나요?

하위 모듈을 포함해 저장소를 클론합니다: git clone --recursive https://github.com/utilityai/llama-cpp-rs 프로젝트 디렉터리로 이동합니다: cd llama-cpp-rs 간단한 예제를 실행합니다(CUDA GPU가 있다면 --features cuda를 추가하세요): cargo run --release --bin simple -- --prompt "The way to kill a linux process is" hf-model TheBloke/Llama-2-7B-GGUF llama-2-7b.Q4_K_M.gguf

llama-cpp-rs은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/utilityai/llama-cpp-rs