huggingface/candle

어떤 프로젝트인가요?

핵심 기능

• 01Rust에서 텐서, 연산, 모델 코드를 작성할 수 있는 PyTorch 유사 API.
• 02선택적으로 MKL(x86)과 Accelerate(macOS)를 지원하는 CPU 백엔드 및 CUDA 백엔드.
• 03NCCL을 통한 멀티 GPU 분산 처리.
• 04브라우저에서 모델을 실행하기 위한 WASM 지원.
• 05safetensors, npz, ggml 및 PyTorch 모델 파일 로드.
• 06llama.cpp 양자화 타입을 사용한 양자화.

활용 사례

• Python 런타임 없이 작은 서버리스 바이너리로 모델 추론 배포.
• Rust 서비스에서 LLM, 음성 인식 또는 이미지 모델 실행.
• WASM을 통해 브라우저에서 클라이언트 측으로 모델 실행.
• PyTorch 모델을 Rust 코드베이스로 포팅.

빠른 시작

1. 1

   Rust 프로젝트에 candle-core를 추가하고 행렬 곱셈 예제를 실행합니다

   cargo run
2. 2

   코드에서 장치를 GPU로 전환해 CUDA 지원을 활성화합니다

3. 3

   CUDA를 활성화한 상태로 명령줄 예제를 실행합니다

   cargo run --example quantized --release

사용 전 알아둘 점

• !Rust 툴체인이 필요하며 GPU를 사용하려면 CUDA를 별도로 설정해야 합니다.
• !많은 모델 예제는 모델 가중치 파일을 별도로 다운로드해야 합니다.

토픽

자주 묻는 질문

candle은(는) 무엇인가요?

GPU를 지원하는 미니멀한 Rust ML 프레임워크로, Python 없이 빠르고 가볍게 추론 및 배포할 수 있도록 설계되었습니다. Candle은 Rust로 작성된 머신러닝 프레임워크로, PyTorch와 유사한 API를 제공합니다. 텐서, 디바이스, 일반적인 연산을 지원하며, 최적화된 CPU 백엔드(x86에서 선택적으로 MKL 지원, macOS에서 Accelerate 지원), NCCL을 통한 멀티 GPU 분산 처리가 가능한 CUDA 백엔드, 브라우저에서 모델을 실행하기 위한 WASM 지원을 갖추고 있습니다.

candle은(는) 무료로 사용할 수 있나요? 라이선스는 무엇인가요?

candle은(는) Apache-2.0 라이선스의 오픈소스입니다. 상업용 제품에 사용하기 전에 라이선스 조건을 확인하세요.

candle은(는) 아직 유지보수되고 있나요?

활발히 유지보수 중. candle의 마지막 커밋은 2026년 11월 2일입니다.

candle은(는) 어디에 사용할 수 있나요?

Python 런타임 없이 작은 서버리스 바이너리로 모델 추론 배포. Rust 서비스에서 LLM, 음성 인식 또는 이미지 모델 실행. WASM을 통해 브라우저에서 클라이언트 측으로 모델 실행. PyTorch 모델을 Rust 코드베이스로 포팅.

candle는 어떻게 설치하나요?

Rust 프로젝트에 candle-core를 추가하고 행렬 곱셈 예제를 실행합니다: cargo run 코드에서 장치를 GPU로 전환해 CUDA 지원을 활성화합니다 CUDA를 활성화한 상태로 명령줄 예제를 실행합니다: cargo run --example quantized --release

candle은(는) 어디서 받을 수 있나요?

소스 코드와 설치 방법은 GitHub에 있습니다: https://github.com/huggingface/candle